Zengin bir eser koleksiyonuna sahip olan Erzurum Müzesi'nin kuruluşu, Erzurum ve çevre illerden eserlerin toplanmasıyla 1942 yılına dayanmaktadır. Söz konusu yıllarda öncelikle bir müze deposu oluşturulmuş daha sonra Milli Eğitim Bakanlığı Atikeler ve Müzeler Müdürlüğü'nün girişimleri ve Erzurum Üçüncü Umumi Müfettişliği Kültür Müşavirliği tarafından Erzurum'daki Selçuklu dönemi eserlerinden biri olan Yakutiye Medresesi'nin müze olarak kullanımı için 1943 yılında tahsisi sağlanmıştır. Erzurum Müzesi, 1947 yılına kadar çok gelişememesi üzerine 1947 yılında yine Erzurum'daki Selçuklu Dönemi eserlerinden biri olan Çifte Minareli Medrese'ye taşınmış ve 20 yıl söz konusu yapıda hizmet vermiştir. 

Erzurum Müzesi'nin ilk koleksiyonlarını Osmanlı dönemine ait etnografik eserler ile Erzurum'daki ilk arkeolojik kazılar olan Karaz, Pulur ve Güzelova Höyüklerinde yapılan ve elde edilen arkeolojik eserler oluşturmaktadır. Bir süre sonra mevcut müzenin yeterli gelmemesinden dolayı yeni bir müze binasına ihtiyaç duyuldu, 1964 yılında yeni bir müze binasının yapılmasına karar verilerek 1965 yılında müze binasının yapımına başlandı. Aynı zamanda Erzurum Müzesi 1963 yılında müdürlük haline getirildi. Müzenin yapımı 1967 yılında tamamlanır, teşhir ve tanziminin tamamlanmasıyla müze, 1968 yılında ziyarete açıldı. 1994 yılında Yakutiye Medresesi'nin Türk İslam Eserleri ve Etnografya Müzesi olarak ziyarete açılmasından dolayı Erzurum Müzesi, "Arkeoloji Müzesi"ne dönüştürülmüş, Çifte Minareli Medrese ise "İslami Taş Eserler ve Etnografya Müzesi" olarak ziyarete açılmıştır. 

Yaklaşık olarak 55 yıl hizmet veren müze binasının yetersiz kalması ve depreme dayanıksız hale gelmesinden dolayı yeni bir bina ihtiyacı duyulmuş, 2021 yılında yeni bina inşa edilmeye başlanmış ve 2021 yılında bitirilmiştir. 19 Ağustos 2023 tarihinde 2350 metrekare kapalı, 2750 metrekare açık olmak üzere, 5100 metrekare sergi alanı, yaklaşık olarak 2000 metrekare eser depolama bölümü dahil olmak üzere toplamda 11.159 metrekarelik alana sahip olarak Erzurum'un Yakutiye ilçesinde Rabiaana Mahallesi'nde açılmıştır. Müzenin sergi alanları şu şekildedir:

Arkeolojik Eserler Salonu: Bu salon, Tabiat Tarihi Bölümü, Kazılar Bölümü, Urartu Eserleri ve Yazıtları Bölümü ve Taş Baba Steli'nden oluşmaktadır.

• Tabiat Tarihi Bölümü: Erzurum'un Pasinler ilçesinde 1986-1987 yıllarında gerçekleştirilen kazı çalışmaları sonucunda ortaya çıkarılan, yaklaşık olarak 500 bin yıllık mamut fosili ile bölgede jeolojik devirlere ait bitki fosilleri yer alır. 
• Kazılar Bölümü: M.Ö II. Binde Doğu Anadolu Bölgesi, Urmiye Gölü  çevresi, Gürcistan tarafları ve Van havzasının batısına kadar yayılmış olan Trans-Kafkas kültürüne ait eserler yer almaktadır. 
• Urartu Eserleri ve Yazıtları: MÖ IX ila MÖ VI. yüzyıllar arasında Doğu Anadolu Bölgesi'nde hüküm sürmüş Urartu uygarlığına ait süs eşyaların, madeni kapların, mühürlerin ve savaş malzemelerinin sergilendiği eserler yer almaktadır. 
• Taş Baba Steli: Bu eser, Erzurum'un Şenkaya ilçesinden bulunmuştur. Mezar steli, erkek yüzlü, belinde işlemeli kemeri olan ve elinde kadeh tutar şekilde işlenmiştir. 

Ayrıca müzede, Erken Tunç Çağı'ndan başlayıp Roma ve Helenistik döneme ait lahitler de dahil olmak üzere takılar, gözyaşı şişeleri ve Osmanlı dönemine ait mezar taşları da bulunmaktadır.

Etnografik Eserler Bölümü: Bu bölüm müzenin üst kısmında bulunmaktadır. Ayrıca, Büyük Selçuklu ve İlhanlı Devletleri'ne ait sırlı seramikler ve Anadolu Selçuklu Devleti'ne ait metal kilitler sergilenmektedir. Bu bölümde, Muş Malazgirt Bölümü ve Osmanlı Çarşısı bölümü bulunmaktadır. 

• Muş Malazgirt Bölümü: Bu bölümde, 1986 yılında Muş'un Malazgirt ilçesinde Erzurum Müze Müdürlüğü tarafından gerçekleştirilen kurtarma kazısı sınucunda ortaya çıkan Selçuklu dönemine ait alem parçaları, yüzük, kolye ucu, küpe gibi takılar ile sıkkeler sergilenmektedir. 
• Osmanlı Çarşısı: Osmanlı dönemine ait bakır kaplar, metal eserler, hamam takımları gibi eserler bu bölümde sergilenmektedir. 

Ayrıca Etnografya Salonu, 1877-1878 (93 Harbi olarak bilinir) Osmanlı-Rus Savaşı'nın gerçekleştiği Aziziye Tabyası, Millî Mücadele yıllarına ait bir resimden esinlenip Gazi Mustafa Kemal Atatürk ile Erzurum Valisi Münir Akkaya ve arkadaşlarının bir masa etrafında canlandırılması, bölgeye özgü olan Oltu Taşı işlemeciliği ve Erzurum'un geleneksel halk oyunu olan Hançer Barı oyunlarının canlandırmasını da bulundurmaktadır. 

Günümüzde Erzurum Müze Müdürlüğü, Arkeoloji müzesi, Atatürk Evi Müzesi, Erzurum Kalesi, Yakutiye Medresesi Türk İslam Eserleri ve Etnografya Müzesi ile yerli ve yabancı turistlere ve bölge halkına hizmet vermektedir.