Önceki adı Havariler Kilisesi olan Kümbet Camii, Kars’taki Kars Kalesi’nin güney eteğinde yer almaktadır. Havariler Kilisesi, Hristiyanların dini inançlarını yerine getirmeleri için yapılan bir ibadet merkezidir. O dönemde Kars civarında Bagratlılar hüküm sürmekteydi ve Havariler Kilisesi Bagratlıların kralı I. Abas tarafından MS 932-937 yılları arasında inşa edilmiştir. Havariler Kilisesi’nin kubbe kasnağını oluşturan dış cephe duvarlarında 12 havariyi simgeleyen insan rölyefleri bulunduğu için o dönem Oniki Havariler Kilisesi olarak da anılıyordu. Kars 1064 yılında Müslümanların egemenliğine geçtikten sonra kilise Müslümanların ibadetlerini yaptıkları bir ibadet merkezine dönüştürülerek Kümbet Camii adını almıştır. Kars ve çevresi Rus Çarlığı topraklarına katıldığı zamana dek cami olarak kullanılmıştır. Osmanlı İmparatorluğu ile Rus Çarlığı arasında yaşanan savaş sonrası Kars 1877’de Rusların eline geçmiştir ve 40 yıllık Rus işgali altında kaldığı süre içinde yeniden kiliseye çevrilmiştir. Rus Ortodoks kilisesine dönüştürülen kilise o dönemlerde kale başkilisesi olarak anılmıştır. Kars ve çevresi 1918 yılında tekrar Osmanlı İmparatorluğu egemenliğine geçtiği Cumhuriyetin ilk yıllarından 1994 yılına kadar ibadete kapalı tutulmuştur. Türkiye Cumhuriyeti döneminde müze olarak kullanılmıştır ve Kars Müzesi adını almıştır. Modern müze binası 1981 yılında hizmete açılmıştır. Kars ilindeki müzenin açılmasından sonra yapı 1994 yılında tekrar cami olarak kullanılmaya başlanmıştır. Günümüze dek kilise, cami ve müze olarak faaliyet gösteren yapının malzemesi bazalt taşıdır ve duvarları düzgün kesme taş ile inşa edilmiştir. Yapının mimari planı dört yapraklı yonca planlı olup dört nişle genişleyen dik açılı bir mekâna sahiptir. Kümbet Camii’nin restorasyon çalışmaları Vakıflar Genel Müdürlüğü’nce 2007 yılında yapılmıştır. Kümbet Camii günümüzde Müslümanların ibadet gereklerini yerine getirdikleri dini bir merkez olarak işlevini sürdürmektedir.