1944 yılında hizmete girdi. Müze, 1947 yılında Çifte Minareli Medrese’ye taşındı. Müzeye kazandırılan eser sayısının artmasıyla, bina ihtiyaca cevap vermediği için 1968 yılında Murat Paşa Mahallesi’nde inşa edilen yeni binasında Erzurum Arkeoloji Müzesi olarak ziyarete açıldı. Müzedeki etnografik ve İslam eserleri, 1994’de Yakutiye Medresesi Türk-İslam Eserleri ve Etnografya Müzesi’ne taşındı..

Erzurum Arkeoloji Müzesi 6.000 metrekarelik bahçe içerisinde, kesme taş malzemeden yapılmış iki katlı bir binadır. Günümüzde hizmet veren binanın yetersiz kalmasından dolayı yeni bina projesine başlandı. Erzurum Valiliği ve İl Kültür ve Turizm Müdürlüğü tarafından ortak düzenlenen projede, 10 bin metrekarelik alan içerisinde üç blok halinde, sergi ve fuaye alanları, laboratuvar ve tarihi eser depoları bulunmaktadır. Modern ve Türk tarihini birlikte yansıtan mimarisiyle akıllı bina özelliğine sahip yapı, 2019 yılının sonunda hizmete geçmesi hedeflenmektedir.

Arkeoloji Müzesi bölgede farklı kültürlerin gelişimi kronolojik olarak takip edilebilmekte, toplumların üretimi, yaşam tarzı, sanatı, dini inançları ve gelenekleri gibi birçok konuda ziyaretçileri bilgilendiren eserler sergilenmektedir.

Tabiat Tarihi Eserleri: Bölgedeki jeolojik devirlerde bir iç deniz olduğunu ispatlar nitelikteki eserlerin sergilendiği salonda, çeşitli fosiller ve yaklaşık 500 bin yıllık mamut fosili teşhir edilmektedir. Döneme ait, obsidyen aletlerle taş balta, çekiç ve havaneli örnekleri öne çıkan eserler arasındadır.

Erken Tunç Çağı (Karaz Kültürü) Eserleri: Doğu Anadolu Bölgesi, coğrafi konumuyla kültürlerin kavşak ve geçiş noktası olmuştur. Kalkolitik ve Tunç Çağlarında (MÖ 3300-3000) doğuda Kafkasya’dan İran’daki Urmiye Gölü’ne, batıda Divriği-Kangal yörelerinden Malatya’ya, güneyde Toros Dağı’na kadar yayılan alan, Kuzeydoğudan olasılıkla Aras Vadisi yönünden gelen kalabalık toplulukların etkisi altına girmiştir. Ortak özellikleriyle dikkat çeken yeni kültüre Karaz, Kura-Araks, Khirbet-Kerak, Erken Trans Kafkas ve Doğu Anadolu Erken Bronz Çağı gibi isimler verilmiştir. Kazı çalışmalarının önemli bir kısmını Karaz (1942-1944), Pulur (1960), Güzelova (1961), Bayburt-Büyüktepe (1990-1993) ve Sos Höyük (1994-2003) kazıları oluşturmaktadır. MÖ 4000 sonlarından başlayan ve Selçuklu dönemine kadar olan tarih aralığını kapsayan kutsal ocaklar, ok uçları, pişmiş toprak kaplar ve taş eserler gibi birçok eser bölge arkeolojisine kazandırıldı.

II. Bin Boyalı Seramik Eserleri: Orta Tunç Çağı’nın başlarında Doğu Anadolu’nun yüksek yaylarında akraba kültürler yaşamış ve bu kültürlerin boyalı çanak çömlek kültürüne Aras Boyalıları Kültürü adı verildi. Bu kültüre ait eserler, coğrafi yayılımında zengin otlaklar ve yeşil yaylalarla çakıştığından Ağrı Dağı etekleri, Doğubeyazıt Sinek Yaylası ile Süphan Yaylarında bulunan kurganlar ve mezar yapılarının içinde bulundu.

Urartu Eserleri ve Yazıtları: MÖ 900-600 tarihleri arasında hüküm süren Urartulara ait pişmiş toprak ve madeni kaplar, süs eşyaları, mühürler, savaş malzemeleri, adak levhaları, rythonlar ve Urartulara ait taş kitabeler müzenin özel eserleri arasındadır.

Hellenistik ve Roma Eserleri: Müze envanterinde bu dönemlere ait, İkiztepeler Tümülüslerinden getirilen lahit, altın takılar, cam gözyaşı şişeleri, pişmiş toprak eserler, Grek, Hellenistik ve Roma Sikkeleri bulunmaktadır.

Türk-Ermeni İlişkileri Eserleri: 1918 yılında Ermeni komitacılar tarafından Anadolu’da Türklere yapılan soykırım ve katliam alanlarından, Erzurum’da Alaca Köyü, Yeşilyayla Köyü ve Tımar Köyü ile Iğdır Obaköy ve Hakahmet, Kars Subatan ve Van Zeve kazılarında ortaya çıkarılan buluntular sergilenmektedir. Buluntular arasında muskalar, düğmeler, ay yıldızlı tabakalar, kolyeler, mermi kovanları ve Kur’an-ı Kerim parçaları gibi bulgular yer almaktadır.