Yapılış tarihi ile ilgili kesin bir bilgi bulunmamaktadır. Farklı kaynaklarda caminin 1135 yılında inşa edildiği belirtilse de bu bilgi net değildir. Kaynaklara göre cami, XII. yüzyılın ikinci çeyreğinde dönemin Danişmentli Beyi Melik Mehmet (Muhammet) Gazi tarafından inşa edilmiştir. Caminin kitabesinde 1206 yılında Büyük Selçuklu Sultanı Keyhüsrev Ahmed Kılıçarslan döneminde onarım gördüğü yazılıdır. Ayrıca Lale Devri'nde bir kısmı depremde hasar gören cami, Sur emiri Hacı Halil Efendi tarafından onarılmıştır.

Büyük Selçuklulardan itibaren Türk cami mimarisinde uygulanan eyvan geleneğini yaşatan camilerden biridir. Mihrap önü kubbesinin doğusunda ve batısında avlular ve bu avluları kesen kemerler bulunmaktadır. Mihrap önü kubbesi ve caminin orta kısmını örten kubbeli bölüm dışında kalan avlular ahşap tavanlıdır. Ulu Camii, dikdörtgen plan şekli, minber önü kubbesi ve eyvan uygulaması ile Büyük Selçukluların Anadolu’daki ilk cami örneklerindendir.

Cami ahşap kapısı, minberi, yan aynalıkları ve köşk bölümleriyle klasik Türk cami mimarisi görünümündedir. Caminin XIII. yüzyıl mimari özelliklerini taşıdığı belirtilmektedir. Minber kısmının süslemelerinde taklit kündekari tekniği kullanılmıştır. Çini süsleme ise tuğladan yapılan minarenin şerefe altında ve kıble duvarında yer almaktadır. Caminin orijinal ahşap kapısı Etnografya Müzesi’nde sergilenmektedir. Caminin doğu cephesinde Raşit Efendi Kütüphanesi ve Melik Mehmet (Muhammet) Gazi'nin kabri bulunmaktadır. Caminin nemden kurtulması ve yenilenmesi amacıyla Vakıflar Genel Müdürlüğü tarafından 2018 başlayan ve 2020 yılında bitirilmesi planlanan restorasyon projesi yürütülmektedir. Cami tarihi Kayseri Kalesi'ne yakın mesafede konumlanmaktadır. Kayseri Ulu Camii güzergâhında Hatuniye Medresesi, Kayseri Kalesi, Pamuk Han, Kadı Hamamı, Kurşunlu Camii gibi tarihi alanlar bulunmaktadır.