Erzurum şehir merkezinde, Yakutiye Belediye binasının güneybatısında yer almaktadır. Doğusunda Çeteci Abdullah Paşa Çeşmesi, güneyinde İsmet Paşa İlköğretim Okulu bulunmaktadır. Önceleri bulunduğu mahalle Kâbe Mescidi Mahallesi olarak anılmaktaydı. Kuzey tarafında da Kanuni Sultan Süleyman zamanında yaptırılan Beylerbeyi Sarayı (Paşa Sarayı) bulunuyordu.

Kâbe Mescidi'nden ilk defa Âşık Çelebi, Menazir’ül-Avalim adlı eserinde bahsetmektedir. 989 H. -1581 M. yılında Erzurum’a gelen Âşık Çelebi yapıdan şu şekilde bahsetmektedir; “Erzen-i Rum’da büyük kilisenin karşısında uzunluğu ve genişliği Kâbe şeklinde olan bir bina Müslümanlara yaptırılıp “Numune-i Kâbe” diye adlandırmışlardır.” Bu ifadelerden “Kâbe Örneği” olarak adlandırılan yapının adı daha sonraları “Kâbe Mescidi” ne dönüşmüştür.  Erzurum’da ikinci bir “Kâbe Mescidi” olarak adlandırılan yapı Lala Paşa Cami’nin hemen batısında yer almaktaydı. İlhanlı dönemi eseri olan bu mescidi Lala Mustafa Paşa mektep haline getirmişti. Yapı 1980’li yıllarda Belediye tarafından yıkılmıştır.

Mevcut Kâbe Mescidi dikdörtgen bir alan üzerine kurulmuş tek ahşap destekli, düz ahşap tavanla örtülü bir yapıdır. Tek ahşap destekli oluşuyla Erzurum’da tek örnektir. İç mekân doğu ve güzeydeki ikişer pencereyle aydınlatılmaktadır. Sonradan eklenen son cemaat yerinden, kuzeydeki kapıyla harim kısmına girilmektedir. Üç yönden düzgün kesme taşla inşa edilen yapının mihrabı mukarnas kavsaralıdır. 1950’li yıllarda mescidin harap bir vaziyette olduğunu belirten İ. H. Konyalı’dan sonra yapı birkaç kez onarım görmüştür.  Kuzeydoğu köşedeki ahşap minaresi saç kaplıdır. Minberi yeni olan mescid ibadete açıktır.