Kuruluşu Osmanlı döneminde XIX. yüzyılın sonlarına kadar uzanmaktadır. İlk olarak 1899 yılında Konya Valisi Avlonyalı Ferit Paşa tarafından Karma Ortaokulu’nun güneybatı köşesinde inşa edilen bir yapıda Konya Âsâr-ı Atîka Müzesi adıyla kuruldu. Müze binasına, o tarihe kadar Konya Vilayeti dâhilinde Kadri Efendi Bedesten’inde depolanmış olan 60–70 parça kadar eski eser nakledildi ve 10 Aralık 1899 tarihinde müzenin resmi açılışı gerçekleştirildi. Zamanla müzeye Konya ve çevresinden derlenen İslam öncesi devirlere ait sunaklar, kap-kacaklar, taş eserler Selçuklu ve Osmanlı dönemlerine ait kitabeler, Konya Kalesi’nden intikal eden resimli taş kabartmaları ve işlemeli mezar taşları da getirildi. Ancak bu küçük müze binası eserler için yeterli gelmediğinden, 1927 yılında Mevlana Müzesi’ne, 1953 yılında İplikçi Camii’ne, 1960 yılında, Alâeddin Camii’nin avlusuna taşınan eski eserler, 1962 yılında tamamlanan Arkeoloji Müzesi binasına nakledildi. Günümüzde Arkeoloji Müzesi kendi binasında, Sahip Ata Vakıf Müzesi’nin bitişiğinde, Sahip Ata Caddesi ile Ahmet Küçük Armağan Sokağı’nın kesiştiği noktada yer almaktadır. Etnografya Müzesi‘ne 250 m ve Sırçalı Medrese Mezar Anıtları Müzesi’ne 200 metre mesafede bulunan müzeye rahatlıkla ulaşım sağlanabilmektedir.

Konya Arkeoloji Müzesi’nde bulunan eserler tarihsel özelliklerine göre bina içerisinde ayrı salonlarda ve müze bahçesinde sergilenmektedir. Müzede 12.284 arkeolojik, 539 adet mühür ve mühür baskısı olmak üzere 12.823 adet eser sergilenmekte ve 12.013 adet eser de depoda muhafaza edilmektedir. Müze salonlarında Neolitik Çağ’dan başlamak üzere, Erken Bronz, Eski Tunç, Orta Tunç, Demir (Frig, Urartu) Hitit, Frig, Hellenistik, Grek, Roma ve Bizans devirlerine ait eserler sergilenmektedir. Arkeoloji Müzesi ziyaret edildiğinde Konya ilinin sınırları içerisinde bulunan Canhasan, Çatalhöyük, Erbaba, Karahöyük, Sızma ve Alâeddin Tepesi’ndeki höyüklerde yapılan kazılarda ortaya çıkan eserler görülebilmektedir. Müze bahçesinde Roma ve Bizans dönemlerine ait taş ve mermerden yapılmış sütunlar, heykeller, lahitler, mezar sandukaları, steller, sunaklar, amforalar ve yazıtlar da sergilenmektedir. Konya şehir merkezinden ve çevre bölgelerden toplanan 230’dan fazla yazıtın sergilendiği müzede St. Paul’ün ziyaret ettiği şehirlerden olan Iconium, Derbe ve Lystra’ya ait yazıtlar oldukça dikkat çekicidir. Müzede MÖ 7000’lere tarihlenen Çatalhöyük’ten çıkarılan kâse, tuzluk, çömlek gibi buluntular, mızraklar, ok uçları gibi savaş malzemeleri ile kolyeler, yüzükler ve duvar resimleri görülebilmektedir. Buradaki en ilgi çekici buluntu ise dizleri karınlarına kadar çekik bir biçimde gömülmüş, kolundaki bilezik ve ayak bileğindeki hal haldan bir kız çocuğuna ait olduğu anlaşılan iskelettir.

Konya Arkeoloji Müzesi’nin görülmeye değer başlıca eserleri Roma lahitleridir. Burada sergilenen lahitlerin en muhteşemi Beyşehir Yunuslar Köyü’nde bulunan Sidemara tipi sekiz ton ağırlığındaki ince işliği ve kusursuz kompozisyonuyla muhteşem olan mermer Herakles Lahdi’dir. Müzede pişmiş toprak lahitler, kandiller, cam gözyaşı şişeleri, cam bilezikler, koku kapları, parfüm kapları, altın yüzük ve küpeler, fildişi tarak ve manikür aletlerini de görmek mümkündür. Ayrıca, Sille Tatköy ve Çumra Alibeyhöyük’den elde edilen taban mozaikler de görülmeye değerdir. Pazartesi haricinde haftanın bütün günleri açık olan müze, sabah 08.30 ila akşam 17.30 saatleri arasında ziyaretçilerini beklemektedir.