Artuklular, Mardin, Midyat ve Hasankeyf bölgelerinde 1102-1409 yılları arasında hâkimiyet sürmüş ve Mardin’deki çoğu Ortaçağ eserin inşasına banilik yapmışlardır. Mardin ilinin eski Mardin bölümünde Teker Mahallesi mevkiinde yer alan Mardin Ulu Camii yapısının birçok noktasında toplamda 16 adet kitabe olmasına karşın yapım yılı ve banisi konusunda net bir ifade kullanmamaktadırlar. Cami doğu minaresindeki çiçekli kufi yazılı kitabe üzerinde yer alan Hicri 572 - Miladi 1176 tarihli not, caminin yapım yılına ışık tutmaktadır. Bu bağlamda yapının Artuklu beyliği dönemi XII. yüzyılın eseri olduğu söylemek mümkündür. Ancak eserin banisinin ve mimarı hakkında kitabelerde herhangi bir bilgiye rastlanmamaktadır. Mimari olarak yapı tümüyle kesme taş malzeme kullanılarak inşa edilmiştir. İnşa edildiği arsa gözlendiğinde eğimli bir yapıya sahiptir. Bu bakımdan eser inşa edilmeden önce arazi güney tarafından büyük bir duvar örtüsü ile yükseltilmiştir.

Yapının plana bağlı yön durumu incelendiğinde, kıble duvarına paralel bir dikdörtgen plana sahip olduğu görülmektedir. İbadet mekânın hemen arkasında büyük bir iç avlu bulunmakta ve camiye girişler bu avlu içerisinden yapılmaktadır. Avlu içerisinde yine kesme taştan inşa edilmiş 12 köşeli büyük bir şadırvan yer almaktadır. Yapının kuzey bölümü, 11 revaktan ve revakların gerisi 12 eyvandan meydana gelmektedir. Ancak ihtiyaca yönelik olarak eyvanların avluya bakan kısımları önleri kapatılarak odalara dönüştürülmüştür. Bugün bu odalar, şafiler mahalli olarak adlandırılmaktadır.

Yapının planlarına göre kuzey bölümün doğu ve batı köşelerinde iki adet minare bulunmaktadır. Ancak batı minaresinin Moğol istilaları esnasında yıkıldığı düşünülmektedir. İbadet mekânının içi toplam üç sahhından meydana gelmekte ve bu üç sahhına girişler ise dört ayrı kapıdan sağlanmaktadır. Yapının tonoz örtüsü kesme taştan meydana gelmesine rağmen, doğu tarafında yer alan iki sahhının üzeri bir kubbe ile örtülmüştür. Kubbe örtüsü dışarıdan yivlerle şekillendirilmiştir. Yapı planı incelendiğinde ise, batı sahhınında bir mihrap daha kullanıldığı görülmektedir. Yapının ayakta kalan kuzeybatı minaresi 48,80 metre uzunluğundadır. Minarenin üstünü örten külah biçimli örtüye, 1887 yılında yıldırım düşmesi sonucu yıkılmış, yerine ana kubbe biçiminde yivli bir örtü yapılmıştır. Cami 2011-2012 yılında geçirdiği son restorasyondan bu yana ibate açıktır.