Osmanlı İmparatorluğu döneminde Kars Beylerbeyi Dilaver Paşa tarafından XVII. yüzyılda yaptırılmıştır. Caminin planı kare olup, tek katlı bir şekilde bazalt taşlarından inşa edilmiştir. 1877-1878 yılları arasında yapılan Osmanlı-Rus savaşı sırasında Ruslar tarafından yakılarak tahrip edilmiştir. Kullanılmaz bir hale gelen cami, 2000 yılında başlayan ve orijinaline sadık kalınarak yapılan restorasyon çalışmaları ile yeniden ibadete açılmıştır. Tek şerefeli iki minaresi bulunan caminin giriş kısmının yeniden restorasyonu sonucu farklı taşlar kullanılmıştır.

Savaştan sonra Ruslar, Müslüman nüfusun azlığını bahane ederek camiyi depo olarak kullanmışlardır. 1918 yılında Ermeni çetecileri Karslı Türkleri toplantı ve antlaşma yapmak amacı ile çağırarak kandırmak sureti ile 286 kişiyi diri diri yakarak katletmişlerdir. Yaşanılan bu olaydan sonra yöre halkı camiyi Yanık-Yağlı olarak adlandırılmıştır. Günümüzde dahi katliamda zulüm gören insanların üzerine dökülen yağ izleri cami duvarlarında bariz bir şekilde görülmektedir. Ulu Camii bu bakımından katliam müzesi niteliği de taşımaktadır.