Kilittaşı, eski adıyla Bagaran’ın (Pakran) bulunduğu bölge Ermeni Bagratlı sülalesinin başındaki Aşot Misager tarafından 770’li yıllarda Ermeni Kamsarakan sülalesinden satın alınmıştır. Kent, 772-890 yılları arasında Ermeni Bagratlılarının idari ve dini merkezi olmuştur. 885 yılında I. Aşot’un hem Abbasiler hem de Bizans İmparatorluğu tarafından Ermeni Kralı ilan edilmesiyle de kent krallığın ilk başkenti olmuştur. 890 yılında I. Simbat’ın kral olması ile başkent Şirakavan’a (Çetindurak) taşındı. Bagaran, Bagratlı Ermeni krallık ailesinin mezarlarının bulunduğu ilk yerleşimdir.

Arpaçay Nehri’nin kenarına kurulan Ortaçağ Kenti Bagaran’a ait kalıntıların bir kısmı bugünkü köyün batı yamacında görülmektedir. Ermeni mimarisi için önemli yapılardan biri olan, 624-631 arasında inşa edilen Surp Teodoros Kilisesi günümüze ulaşmamıştır. Bugün Ermenistan tarafında kalan X. yüzyıla ait çokgen kilise ayaktadır.

Bugünkü Kilittaşı Köyü’nün kuzeybatısındaki köye hâkim kayalık alanda yer alan Kilittaşı Kilisesi örtüsü yıkık halde günümüze ulaşmıştır. İnşa tarihi ve orijinal adı bilinmeyen yapının XIX. yüzyılda inşa edildiği düşünülmektedir. Kilise, güney duvarı 12,20 metre, batı duvarı 11,50 metre, kuzey duvarı 14,10 metre ve doğu duvarı 11,80 metre uzunluğunda yaklaşık kare, tek apsisli ve pastoforion odalıdır. Kiliseye güney duvarda bulunan kapı ile girilmektedir. Naosun batı duvarında üç, kuzey ve güney duvarlarında ikişer yuvarlak kemerli pencere bulunmaktadır. Kuzey duvarın doğusunda da yuvarlak kemerli dikdörtgen bir vaftiz nişi vardır. Naosun doğusunda bulunan apsis içten yuvarlak dıştan düz duvarla sınırlıdır. Apsisin ana ekseninde içten dışa doğru daralan küçük bir pencere, kuzey ve güney duvarlarında yuvarlak kemerli dikdörtgen küçük birer niş yer almaktadır. Apsisin kuzey ve güneyinde yer alan pastoforion odalarına naosa açılan yuvarlak kemerli birer kapı ile girilmektedir. Doğu-batı doğrultusunda dikdörtgen prothesis, kare diakonikon tonoz örtülüdür. Her iki mekânın da doğu duvarlarında içten dışa doğru daralan yuvarlak kemerli birer küçük pencere bulunmaktadır. Prothesisin kuzey duvarında avluya açılan yuvarlak kemerli dikdörtgen bir kapı vardır.

Kızıl kahve tonlarında kesme taştan, dolgu duvar tekniğinde inşa edilen kilisenin cepheleri sade düzenlenmiştir. Sadece batı cephede giriş kapısı kademeli kaval silmelerle vurgulanmıştır. Ayrıca kapının her iki yanında muhtemelen XIII. yüzyıla ait birer haçkar yerleştirilmiştir. Yapının cephelerinde XIX. ve XX. yüzyıllarda kiliseyi ziyaret eden kişilerce yazılan daha çok Ermenice yazılar bulunmaktadır.