Osmanlı Devleti, Hicri 1293 Miladi 1876-1877 yılında Osmanlı-Rus Savaşı (93 Harbi) Rusya lehine sonuçlanınca, Kafkas coğrafyasını ve Sarıkamış’ı savaş tazminatı olarak kaybetti. Bölge üzerinde başlayan Rus egemenliği, Çarlık Rusya yönetimine karşı yapılan Bolşevik İhtilaline kadar yaklaşık 40 yıl devam etmiştir. Savaş tazminatı olarak Rusların eline geçen Kars, Ardahan, Sarıkamış ve Batum gibi Osmanlı şehirlerinde yayılımcı politika gereğince, özellikle şehirleşme, tarım, ticaret alanında Ruslar, bazı yeni yöntemler denendi. Rusların egemenliğine giren bu şehirlerde Baltık mimari tarzında askeri ve sivil ikmal ve hizmet binaları inşa edilmiştir. Sarıkamış içerisinde inşa edilen Baltık mimarisinin en iyi örneklerinden biri de Yanık Kilise’dir. Bugün Sarıkamış Kaymakamlık binasının paralelinde bulunan yapı, Sarıkamış’ın işgal yıllarında Rus Çarı II. Nikola tarafından 1907 yılında Ortodoks kilisesi olmak üzere inşa ettirilmiştir. Çarlık Rusya’nın yıkılmasıyla birlikte bölgedeki Rus egemenliği 1917 yılında Bolşevik hükümeti tarafından sonlandırılmıştır. Bu tarihten sonra yapı, bir süre tarım ofis ambarı olarak kullanılmıştır. Prof. Bingür Sönmez tarafından aktarılan bilgiye göre yapının, 21.02.1937’de Halk Evi olarak kullanılmaya başlandığı bilgisine ulaşılmaktadır. 1970 yılına kadar Sarıkamış Belediyesi tarafından sinema binası olarak kullanıldığı bilinen yapı, 1970 yılında yaşanan sinema yangını sonunda 1985 yılına kadar birçok değişiklik geçirerek kullanıldı ve bu tarihte Diyanet İşleri Başkanlığı’na devredilmiştir.

Mimari olarak yapı incelendiğinde tonoz yapısının ahşap kâgir malzemeden yapıldığı, duvarların ise bölgenin volkanik özelliğinden kaynaklı olarak bazalt kesme taştan inşa edildiği bilinmektedir. Mimari olarak Baltık mimarisiyle inşa edilen kilise, doğu batı aksinde dikdörtgen planlı olarak inşa edilmiştir. Yapıya giriş sağlayan biri kuzeyden, biri güneyden ve biri de batıdan olmak üzere toplam üç ana giriş inşa edilmiştir. Ancak güney kapısı 1970 yangınında çok hasar görmesi ve sonra camiye dönüştürülmesi neticesinde kapatılarak kıble duvarı haline getirilmiştir. Doğu duvarında yer alan apsis yarım dairesi dışarıdan beş köşeli olarak inşa edilmiştir. Yapının batı duvar bölümünde iki adet yan bema bulunmaktadır. Yapının batı kapısı ile naos’u arasında tek geçişli bir narteks (son cemaat mahalli) bulunmaktadır.

2008 yılında geçirdiği son tadilat ile birlikte, düzgün kesme taş yapıda iki renkli taş işçiliği rahatlıkla görülmektedir. Çar II. Nikola tarafından inşa ettirildiği bilinen yapının gerçek ad bilgisine ulaşılamamaktadır. Halk arasında 1985 yılına kadar Yanık Kilise olarak anılmış olan yapı bugün yeni adı ile Kazım Karabekir Camii ismi ile bilinmektedir.