Muğla’nın Fethiye ilçesinde yer alan antik dönemde Karmylassos eski ismi Levissi olarak tanınan bugün turistik açıdan oldukça ilgi çekici antik bir kenttir. Tarihsel geçmişinin MÖ III. yüzyıla dayandığı tahmin edilse de MÖ IV. yüzyıldan daha önceki dönemlere ait buluntulara henüz ulaşılamamıştır. Köyde bulunan lahit ve kaya mezarlarının üzerindeki Likyalılara ait yazılara dayanarak en eski izlerin Likyalılara ait olduğu tahmin edilmektedir. Kayaköy, Roma, Bizans yerleşimlerinin akabinde 1284’te Menteşeoğulları ve 1424’te Osmanlıların eline geçmiştir. İklimi, deprem riskinin daha az olması, savunma açısından elverişli olması ve ovalık kısmın tarıma uygunluğu gibi nedenlerle tarımla uygun arazilerin dışında kalan kayalık olan yamaç yaşam alanı olarak belirlenmiştir. Yamaca birbirini kapatmayacak şekilde sıralanan yapılar Osmanlı Imparatorluğu’nun azınlıklara sundukları haklar ile Rumlar tarafından yapılmıştır.

Cumhuriyet dönemine kadar Rumlar ve Türkler (1912 yılı nüfus bilgilerine göre 6.500 kişi) birlikte yaşamışlardır. Birlikte ama farklı mahallelerde yaşamayı tercih eden Rum ve Türkler arasında sosyal ve ticari yönden güçlü ilişkiler yaşanmıştır. Rumlar demircilik, bakıcılık, kalaycılık, marangozluk, ayakkabıcılık, şarapçılık, el sanatları, tarım ve ticaret ile uğraşırken Türkler daha çok tarım (incir, üzüm, ceviz, meyve ağaçları, tütün vb.) ve hayvancılıkla uğraştılar ve üretilen ürünleri karşılıklı birbirlerine pazarlamışlardır. Türkiye Cumhuriyeti’nin kuruluş yıllı olan 1923’te nüfus mübadelesi yapılmıştır. Mübadele kapsamında Rumlar Yunanistan’a gönderilmiş ve Batı Trakya’daki Türkler'in bir bölümü Karaköy'e yerleştirilmiştir. Köye gelen Türklerin büyük kısmı ise farklı nedenler (su sorunu, yaşama koşullarına uyum sorunu vb.) ile başka yerlere taşınmışlardır. Bu durum köydeki nüfusun azalmasına ve sosyo ekonomik açıdan köyün gerilemesine neden olmuştur. Köydeki konutların her biri ortalama 50 metrekare büyüklüğünde kiremit çatılı, iki katlı, tek ya da iki odalı ana bölümde ocak ve duvarda nişlerin olduğu dikdörtgen şeklindeki mekânlardır. Kayaköy alt katlarının kiler amaçlı inşa edildiği, spiral şeklindeki tuvaletlerin evlerin dışında yapıya bitişik veya ayrı olduğu, giriş kısımlarında yağmur sularının toplanması için tasarlanan sarnıçların olduğu yaklaşık 350-400 evden oluşuyordu. Köyde kullanma suları sarnıçlardan sağlanırken içme suyu ise çeşme veya kuyulardan sağlanıyordu. Zeminin eğimli olması nedeniyle sokaklar dar olup taş döşemeli sokakların ortalarında oluklar ve eğime göre taş merdivenler bulunmaktadır. Örtü sistemleri, kapı ve pencereleri ahşaptan olan konutlar ve sokaklar zamanla doğal etkenler sebebiyle zarar görmüş ve bugün hayalet köy olarak ifade edilen köyün şu anki halini almasına neden olmuştur.

Kayaköy’de konutların dışında 14 şapel (taş malzemeden dikdörtgen şeklinde, kubbe çatılı tek kapılı küçük ibadet mekânı), iki kilise (Aşağı Kilise-Panayia Pirgiotissa ve Yukarı Kilise-Taxiarhis), çeşme, sarnıç, iki okul (Rumca dilinde sadece ilköğretim seviyesinde eğitimin yapıldığı kızlar okulu ve erkekler okulu), yel değirmeni ve bir gümrük binası bulunmaktadır. Panagia Pirgiotissa Kilisesi, Kayaköy’ün batısında yer alıyor. 1960’lı yıllara kadar cami olarak kullanılması nedeniyle daha iyi korunmaktadır. Yüksek kesme taş duvarlı kiliseye giriş kuzey cepheden olup bahçesine doğu cephesinden giriş bulunmaktadır. Çakıl taşlarıyla yapılan mozaik zeminli kilisenin bahçesinde çan kulesi, ufak bir mezarlık ve dini törenlere katılan kişiler için yapılan oturma yeri bulunmaktadır. Taxiarhis Kilisesi, yerleşimin merkezinde bulunmaktadır. Kilise yüksek taş duvarlı, zemini mozaik döşeme kaplı, dışı pembe sıvalıdır. Kilisenin çatı kısmında haç tonozlar kullanıldı. Birleşmiş Milletler Eğitim, Bilim ve Kültür Örgütü (UNESCO) tarafından Kayaköy Dünya Dostluk ve Barış Köyü olarak ilan edilmiş, 736 yapı anıtsal yapı olarak tescillendi ve koruma altına alınmıştır.