Tirol’de Brixen yakınlarında Tschötsch adlı kasabada, köylü bir aile olan Johann ve Maria çiftinin 10 çocuğundan dördüncüsü olarak dünyaya geldi (1790). Okuma yazma eğitimine Tschötsch’de başlayan Fallmerayer 1801’de ailesiyle Brixen’e göç etti. Daha sonra 1809’da eğitimine devam etmek için Salzburg’a gitti. Salzburg’da ilahiyat fakültesinde teoloji ve felsefe eğitimi aldı. 1812 yılının Kasım ayında o zamanlar Münih’ten sonra Bavyera’nın en önemli entelektüel merkezi olan Landshut’a hukuk eğitimi almak için gitti. Orada Roma hukuku ve özel Alman hukuku üzerine derslere katıldı ancak çok kısa bir süre sonra hukuk alanında değil, tarih ve dil alanında çalışmalarına devam etmeye karar verdi. Böylece klasik dillerin yanında İbranice, Keldanice ve Süryanice öğrenmeye başladı. Fallmerayer 1813 yılında Napolyon’a karşı bağımsız Almanya için savaşan Bavyera Ordusu'na girdi. Hanau’da yapılan savaşta Alman ordusunda görevliydi. Bavyera ordusuna katılması Fallmerayer’in bilimsel çalışmalarını engellemedi. O, Paris Milli Kütüphanesi’nde Grekçe ve Latince klasikler üzerine çalışmaya devam etti. Paris’te Fransızca ve İspanyolcasını daha da geliştirme imkânı buldu. Lindau garnizonundayken boş vakitlerinde modern Yunanca, Farsça ve Türkçe çalışmalarını sürdürdü.

Beş yıllık askerlik hayatından sonra 1817’nin sonunda Fallmerayer, Augsburg Lisesi’nde öğretmenlik yapmaya başladı. Marcus Joseph Müller ve Charles Louis Napolyon (III. Napolyon ismiyle Fransa tahtına geçti) gibi önemli isimler onun talebeleriydi. 1821’de Augsburg’dan ayrılarak Landshut’a gitti ve 1831’de birinci Doğu seyahatine çıkana kadar Landshut Lisesi’nde öğretmen olarak çalıştı. Fallmerayer’in öğretmenlik yılları onun ilk eserlerini kaleme aldığı dönem olması açısından oldukça kıymetlidir. Landshut’tayken 1823 yılının Şubat ayında Kopenhag’daki Danimarka Bilimler Akademisi tarafından Trabzon’un tam olarak bilinmeyen Büyük Komnenos tarihini aydınlatacak bir yarışma düzenlendi. Fallmerayer, Doğu dillerini bilmesi sayesinde bu yarışma için hazırlıklara başladı ve Landshut, Paris, Göttingen, Viyana, Venedik, Münih kütüphanelerinde araştırmalar yaptı. Venedik’te Kardinal Bessarion’un kütüphanesinde bulduğu Panaretos’un kroniğiyle Trabzon tarihini büyük ölçüde aydınlattı. Uzun bir çalışma sürecinin ürünü olarak ilk eseri Trabzon İmparatorluğu’nun Tarihi (Die Geschischte des Kaiserthums von Trapezunt) 1827 yılında Münih’te neşredildi (Eser Türkçeye Ahmet Cevat Eren tarafından tercüme edildi ve TTK tarafından 2011 yılında yayımlandı). Fallmerayer, Trabzon tarihinden sonra Ortaçağda Mora Yarımadası’nın Tarihi (Geschichte der Halbinsel Morea während des Mittelalters) adlı eserinin birinci cildini 1830’da ikinci cildini ise 1836’da yayımladı. Mora tarihinde müellif antik Yunanlar ile çağının Yunan halkı arasında bir kan bağının bulunmadığını Ortaçağ’da Balkanlar’dan Yunanistan’a gerçekleşen Slav ve Arnavut istilalarıyla antik Yunan’ın yok olduğunu iddia etmesi dönemin Filhellenistleri tarafından sert tepkiyle karşılanmasına sebep oldu. Fallmerayer’in Greklerin Slavlaştığı iddiası yaşamı boyunca kariyerinin önündeki en büyük engel olarak kaldı. Ancak tüm baskı ve sansürlere rağmen Alman müellif bu iddiasından hiç vazgeçmedi.

Mora tarihini yayımladıktan sonra siyasi ve ideolojik çalkantılar içinde Landshut’ta daha uzun bir süre kalmak istemeyen Fallmerayer, Rus General Alexander Graf Ostermann-Tolstoy ile Doğu seyahatine çıkmaya karar verdi. 1831’de İtalya üzerinden denizyoluyla Mısır’a giden müellifin ilk Doğu seyahati üç yıl sürdü. Fallmerayer neredeyse bir yıl boyunca Mısır ve Nubiya’da kaldı. 1832 yılının Temmuz ayında Mısır’dan ayrılarak Filistin, Suriye üzerinden Lübnan vadileri boyunca Kudüs, Antakya, Halep ve Şam’a gitti ve bir süre orada ikamet etti. Yaşadığı bu şehirlerle ilgili önemli notlar topladı ve daha sonra bunları makaleler şeklinde yayımladı. Son olarak Kıbrıs ve Rodos’a geçti oradan da 1833’te İstanbul’a giderek Türkçesini geliştirmek için uzun bir süre orada kaldı. İstanbul’dan yola çıkarak Kiklad üzerinden Atina’ya gitti. Fallmerayer, Mora Yarımadası’ndayken buradaki yer isimlerini karşılaştırma ve daha sonra yayımlayacak olduğu Mora tarihinin ikinci cildi için materyal toplama fırsatı buldu. 1834’te o, bu uzun seyahatten yorgun bir şekilde yurduna geri döndü. Fallmerayer yurda döndüğünde Landshut’taki kadrosuna başka biri atanmıştı. O da makul bir aylık karşılığında Münih Bilimler Akademisi’nin tarih alanında daimî bir üyesi oldu ve Gelehrte Anzeigen’da makaleler yayımlamaya başladı. Alman müellif aynı zamanda dönemin önemli bir gazetesi olan Allgemeine Zeitung’da da yazmaya başladı.

08. 06. 1840 yılında Fallmerayer ikinci Doğu seyahatine çıktı. Tuna Nehri boyunca Regensburg, Viyana, Budapeşte üzerinden Karadeniz sahiline vardı. Daha sonra denizyoluyla Trabzon’a giden Fallmerayer yaklaşık iki ay orada kaldı. Karadeniz’den sonra 26. 10. 1840’ta İstanbul’a gitti. Fallmerayer burada bir yıllık ikameti sürecinde Türkçesini geliştirmekle kalmadı aynı zamanda Doğu üzerine araştırmalarına derinlik kazandırdı. Fallmerayer İstanbul salonlarında pek çok diplomat ve elçiyle tanıştı ve onlarla dönemin siyasetini tartışma fırsatı buldu. Pera’da yüksek seviyeli diplomatlarla olan ilişkisi Fallmerayer’in Allgemeine Zeitung’da Değişen Sahneler Üzerine (über die wechselnden Szenen) adlı makale serisine yansıdı. Fallmerayer Doğu seyahatlerinden edindiği tecrübeyle reform yanlısı yüksek rütbeli devlet adamlarından Reşid Paşa ve Âli Paşa’nın işbirliğiyle II. Mahmud ve Abdülmecid gibi aydınlanmacı yöneticilerin hâkimiyeti altında Osmanlı İmparatorluğu’nun oldukça uzun ömürlü olacağına inancını dile getirdi. Fallmerayer 1841 yılının Ekim ayında Athos’a oradan da Selanik, Larisa üzerinden Atina’ya gitti ve bir süre orada ikamet ederek dönemin diplomatlarıyla görüştü. 1842’nin yaz başında Fallmerayer yaklaşık iki yıl süren ikinci Doğu seyahatinden sonra Bavyera’ya döndü. İkinci Doğu seyahatinin tecrübesiyle Fallmerayer ünlü eseri Doğu’dan Fragmanlar’ı (Fragmente aus dem Orient) (Eser Türkçeye Hüseyin Salihoğlu tarafından tercüme edildi ve 2002 yılında İmge Yayınevi’nden yayımladı.

Bavyera veliahdının desteğiyle Fallmerayer 1847-48 yılları arasında üçüncü Doğu seyahatini gerçekleştirdi. Fallmerayer 1847’de üçüncü kez Doğu seyahatine çıktığında onun hedefinde Trabzon ve Kudüs vardı. Fallmerayer Doğu’ya giderken ilk durağı Atina’ydı. Venedik, Trirest üzerinden denizyoluyla 24 Mayıs’ta Atina’ya vardı. Atina’dan sonra Fallmerayer İstanbul’a gitti. İstanbul’da dönemin Avusturya elçisi Graf Stürmer’in aracılığıyla Türk devlet adamlarıyla tanışma fırsatı buldu. Sultan Abdülmecid’in Büyükdere’deki sarayında yaz aylarını geçirdi. Büyükdere’deki ikameti sırasında Anadolu Seyahat Manzaraları (Anatolischen Reisebilder) adlı makale serisini yazdı. İstanbul’dan sonra Trabzon’a geçti. Trabzon’da bir süre kaldıktan sonra Beyrut’a seyahat eden Fallmerayer, Beyrut yakınlarında Sur ve Nasıra bölgelerini at üstünde gezdi. Son olarak Kudüs’e vardı ve yaklaşık bir ay Kudüs’te kaldı. Kudüs’ten geri dönerken Fallmerayer Carmel Manastırı'nda ve Akka’da beş gün geçirdi. Bu seyahatten dönüşte Kutsal Kabir Kilisesi ve Lut Gölü Üzerine adlı makalelerini ve Doğu’dan Yeni Fragmanlar (Neuen Fragmente aus dem Orient) adlı eserinin makalelerini üçüncü Doğu seyahatinin ürünü olarak yayımladı. Sultan Abdülmecid 1848’de Fallmerayer’in Türkiye raporlarına teşekkür mahiyetinde onu yüksek bir nişanla ödüllendirdi. 1848 kışını İzmir’de geçiren Fallmerayer 20. 03. 1848’de Münih Üniversitesi’ne dünya tarihi profesörü olarak atandığı haberini alınca Bavyera’ya döndü. Ancak üniversite hocalığı yapmayarak politikaya atıldı ve Frankfurt Parlamentosu’na girdi. Frankfurt Parlamentosu’nun dağılması üzerinde 1849’da İsviçre’ye sürgün edildi. Kısa bir süre sonra affedilerek Münih’e döndü. Yaşamının son yıllarını bilimsel çalışmalarına ayırdı. 26. 04. 1861’de Münih’te hayata gözlerini kapadı.