Köklü bir tarihe sahip olan Vize ilçesinin surları içerisinde bulunmaktadır. Doğu Roma İmparatorluğu (Bizans) zamanında şehrin en büyük kilisesi olduğu düşünülen Küçük Ayasofya Kilisesi’nin (bugünkü Gazi Süleyman Paşa Camii’nin) yapılış tarihi hakkında kaynaklarda net bir bilgi bulunmamaktadır. X. yüzyıl başlarında bölgede olduğu düşünülen psikoposluğun bu bina olduğu her ne kadar kesin bir bilgi bulunmasa da tahmin edilmektedir. Ancak kilisenin yapı formundan bugünkü şeklini Geç Bizans döneminde (XIII.-XIV. yüzyıllarda) aldığı anlaşılmaktadır.

Küçük Ayasofya Kilisesi Bizans’ın son dönemlerinde görülen karma tip denilen yapı özelliğine sahiptir. Kilise zemini bir bazilika (kabaca dikdörtgen yapı denilmektedir, yapı özelliği çok daha eski dönemlere dayanan, büyük halk topluluklarını içinde barındıran dini yapı) formundadır, ancak üst tarafı Yunan haçı tipinde olup yüksek bir kubbeye sahiptir. Kubbenin ağırlığı dört büyük beşik tonoza bindirilmiştir. Bu şekilde, Bizans kilise mimarisinin iki önemli unsuru olan bazilika ve Yunan haçı burada birleştirilmiştir. Son dönem Bizans mimarisinde çifte planlı yapıya sahip başka kiliselerin de olduğu bilinse de, bu usulde yapılan, başkente en yakın kilisenin burası olduğu tahmin edilmektedir. Mimarlar kilisenin Ayasofya (İstanbul) ve Aya İrini Kiliseleri ile benzerlik gösterdiğini belirtilmektedir. Kilise dışarıdan haç şeklinde görünmekte olup, yapının ön tarafında mezarlık bulunmaktadır.

Vize, Bizans İmparatorluğu’nun Trakya’daki son kalelerinden biridir. Bu nedenle, nispeten geç bir tarihte (1363 yılından itibaren Türkler burada gözükse/fetihlerde bulunsa da şehir sürekli el değiştirdi) 1453 yılından sonra Türk hâkimiyetine kesin olarak girmiştir. Bu tarihten sonra Küçük Ayasofya Kilisesi camiye çevrilmiştir. Ancak kiliseyi, hangi Süleyman Paşa’nın camiye çevirdiği veya daha sonra hangi Süleyman Paşa adına ithaf edildiği konusunda kaynaklar net bilgi vermemektedir. Öyle ki Türklerde fetih sembolü olarak fethedilen yerdeki kilise camiye çevriliyordu ve böylece bölgenin Türk-İslam kimliğine bürünmesinin ilk adımı atılıyordu, ayrıca yeni yerleşimcilerin ibadethane ihtiyaçları da bu şekilde gideriliyordu. Burada da söz konusu geleneğin bir örneği görülmektedir.

Küçük Ayasofya Kilisesi/Gazi Süleyman Paşa Camii zamanla toprağa gömülü hâle gelmiştir. Bu da rutubete sebebiyet vererek yapının tahribatını hızlandırmıştır. Cami, Birinci Dünya Savaşı yılları sırasında Rus ve Bulgar işgallerinde tekrar kiliseye çevrilmiş ve bu sırada mimari özelliklerinden bazıları hasara uğramıştır. Ruslar ve Bulgarlar kültür sanat değeri olan eserleri bu sırada alıp götürmüşlerdir. Camide, Vakıflar Genel Müdürlüğü tarafından 1979-1984 ve 1995 yıllarında restorasyon çalışması yapılmıştır. Camiye, 1997 yılında Kırklareli Müzesi ile Trakya Üniversitesi Arkeoloji ve Sanat Tarihi Bölümünün müşterek bir çalışması ile kısmî bakım ve temizlik yapılmıştır. 2007 yılında ise cami, Vakıflar Genel Müdürlüğü tarafından aslına uygun bir restorasyon geçirmiştir.