Tarihi Mardin kentinin (Eski Mardin) merkezinde yer alan Mardin Müzesi eski bir Patrikhane olup Antakya Patriği Ignatios Behnam Banni tarafından 1895 yılında Süryani Katolik Patrikhanesi olarak yaptırılmıştır. Kültür ve Turizm Bakanlığı tarafından satın alınan bu yapı, 2000 yılında restore edilerek Mardin Müzesi olarak hizmete açılmıştır. Aslı patrikhane olarak yapılmış olan binanın tarihi Mardin evlerinden pek bir farkı olmayıp ön yüzleri güneye bakan, üç katlı, “U” planlı ve her katı plana uygun biçimde geniş avlulu yapıya sahiptir. Müzenin giriş katı geniş bir avluya sahip olup avluda Assurlar’dan Osmanlı dönemine kadar tarihlenen mezar taşları, sütun başlıkları, rölyefler gibi taş eserler ile günlük kullanım kapları sergilenmektedir. Ayrıca, bu katta müze mağazası, tuvaletler, kafeterya ve müze eğitim salonu da yer almaktadır. Özellikle giriş katında yer alan eğitim salonunda hem çocuklar hem de halkın geniş bir kitlesine tarihi ve kültürel değerler hakkında oldukça önemli bilgilerin uygulamalı olarak öğretilmesi hedeflenmektedir.

Müze binasının bir üst katında güneyde ziyaretçilerin Mezopotamya Ovası’nı izleyebilecekleri bir teras ve kuzeyinde ise avluda Roma dönemine ait mozaikler ile yine aynı döneme ait steller ile röliker ve ostothek olarak adlandırılan küçür mezarlar ile Akkoyunlu dönemine ait figürlü taş eserler teşhir edilmektedir. Ayrıca, bu katta sinema salonu ve Mardin ile yakın çevresinde gerçekleştirilen arkeolojik kazı çalışmalarından çıkan eserlerin (özellikle Ilısu Kazıları, Girnavaz Höyük ve Dara Antik Kenti) kronolojik olarak sergilendiği Arkeolojik Kazılar Teşhir Salonu bulunmaktadır. Müze binasının en üst katında bir alt kattaki teşhir salonundan farklı olarak kronolojik sergilemeden ziyade tematik sergileme salonları, ziyaretçilerin beğenisine sunulmaktadır. Bu tematik ögeler insanoğlunun ilk kez alet yapmaya başladığı Paleolitik dönemden günümüze kadar bölgede yaşamış tüm uygarlıkların eserlerini kapsamaktadır. Bu salonlardan en dikkat çeken bölüm sikke teşhiri olup özellikle Mardin Müzesi tarafından gerçekleştirilen Kızıltepe Sürekli Köyü’ndeki kurtarma kazısında ele geçen Sürekli Definesi’dir. Definede, dokuzuncu ve XIV. yüzyıllar arası Abbasiler, İlhanlılar, Eyyubiler, Bizanslılar, Zengiler, Artuklular gibi birçok medeniyete ait altın ve gümüş eserler bulunmaktadır.

Müzenin kuzeybatısında yine müzeye bağlı idari bina yer almaktadır. XIX. yüzyıl geleneksel Mardin evi mimari özelliklerine sahip tescilli bir yapı olan idari bina, Kültür ve Turizm Bakanlığı ve Mardin Valiliği tarafından restore edilerek 2012 yılında hizmete açılmış ve bir asma köprü ile müzenin teşhir binasına bağlanmıştır. Özellikle idari binada yer alan kütüphane, 2010 yılında kurulmuş olup koleksiyonundaki 8.000 kitap ve 20 bine yakın dijital yayın arşivi ile başta arkeoloji, tarih, sanat tarihi, mimarlık, felsefe, mitoloji ve diğer birçok konuda çalışma yapmak isteyen araştırmacıların uğrak noktasıdır. Ayrıca, bu alanda bölgenin en büyük kütüphanesi konumundadır. Yine idari binada yer alan sanat galerisi, özellikle birçok sanatçının sergisine ev sahipliği yapmakla birlikte, alan çok amaçlı salon olarak da kullanılmaktadır. İdari binanın güneyinde, müze binasının ise batısında yaklaşık 250 metrekarelik bir alanda ise laboratuvar yer almaktadır. Bu bina restorasyon, konservasyon ve analiz yapmak amaçlı değerlendirilmektedir. Laboratuvarda metal, seramik, taş, cam, mozaik, ahşap, kâğıt, deri, tekstil gibi organik ve inorganik tüm taşınabilir kültür varlıklarının restorasyon ve konservasyon işlemleri yapılabilmektedir Türkiye’de müze bünyesinde kurulan ilk ve tek analiz laboratuvarı olan Mardin Müzesi Analiz Laboratuvarı’nda taş, sıva, harç, toprak, seramik gibi malzemeler analiz edilerek sonuçları bilimsel olarak rapor edilmektedir.