Kars’ın Kaleiçi Mahallesi’nde Kars Kalesi’nin güney eteklerinde bulunan Evliya Camii’nin kesin inşa tarihi bilinmemektedir. X. yüzyılda İran’ın kuzeyindeki (Batı Azerbaycan) Bistâm şehrinin Harakan Köyü’nden Kars’a gelen ve burada defnedildiğine inanılan Ebu’l Hasan Ali b. Ahmed’in (Cafer) türbesinin yanına inşa edilen ilk camidir. XVI. yüzyıl sonlarında Lala Mustafa Paşa’nın Kars’taki geniş çaplı imar faaliyetleri sırasında yeni baştan inşa edilmiştir. Ancak 1604 yılındaki Şah Abbas’ın şehri tahribatı ile harap olan yapı Sadrazam Mehmet Paşa’nın talimatlarıyla 1617 yılında kapsamlı bir onarım geçirmiş ve yenilenmiştir. Özgün Osmanlı Camisi, minaresi korunmak şartıyla 1996 yılında yıkıldı/yıktırılmış ve yerine 2004 yılında hiçbir sanatsal ve mimari kıymeti olmayan bugünkü bina inşa edilmiştir.

Caminin güneydoğu köşesindeki Ebu Hasan Harakani’ye ait türbenin de 1617 yılında yenilendiği bilinmektedir. İnşa edilen ilk caminin nasıl bir plan ve mimari özelliğe sahip olduğu bilinmemektedir, ancak XVI. yüzyıl sonlarında ahşap destekler tarafından taşınan düz ahşap örtülü bir görünümde olduğu söylenmektedir. 1617 yılındaki kapsamlı onarımda da asli hüviyetini koruduğu düşünmektedir. Caminin XVI. yüzyıl sonlarındaki Osmanlı döneminin ilk inşasından günümüze ulaşabilen tek unsuru minaresidir. Caminin kuzeydoğu köşesinde, bugün için bağımsız bir şekilde yükselen minare, kare kaideli, sekizgen pabuçluklu, silindirik gövdeli ve tek şerefelidir. Kare kaidesi, pabuçluğa geçiş verirken dört köşeden pahlanmıştır. Daha sonra pabuçluk ve taş bir bilezikten sonra kalın silindirik gövdesi yükselmektedir. Minarede kahverengi ve tonlarındaki düzgün kesilen taş malzeme kullanılmıştır. Caminin güneydoğu köşesindeki türbe binası da 2004 yılının eseridir. Kubbeyle örtülü kare bir mekândan oluşmaktadır. Bunun da orijinalde kubbeli bir mimariye sahip olduğu bilinmektedir.