1931 yılında Taş Medrese’de müze memurluğu olarak kuruldu. 1933 yılında müze müdürlüğüne dönüştürüldü. 1971 yılında ise günümüzdeki müze binası olarak hizmete açıldı. Türkiye genelinde birçok ziyaretçisi olan müzenin binası tek katlıdır ve bahçesi mevcuttur. Bina idari kısım ve teşhir olmak üzere ikiye ayrılmaktadır. Teşhir kısmında birbirine bağlı olan dokuz adet sergi salonu bulunmaktadır. Bu salonlar kronolojik olarak; Kalkolitik, Tunç, Hitit, Frig, Lidya, Roma ve Bizans dönemlerine ait olmak üzere oldukça zengin bir koleksiyona sahiptir. Müzede satış amaçlı bulunan eserler de mevcuttur. Yıllık yaklaşık 10 bin ziyaretçisi olan müzenin hem il içi hem bölgesel hem de Türkiye geneli bir ziyaretçi dağılımı vardır. Termal turizm için Afyonkarahisar’a gelen turistlerin en çok tercih ettiği müzelerden biridir.

Müzede Hitit İmparatorluğu dönemine ait 35,1 santimetre yüksekliğinde, takke formlu başlığı bulunan, savaşçı giyimli, boynuzlu olduğu düşünülen bronz heykelciliğinden Ahurhisar Hitit Bronz heykelciliği bulunmaktadır. Müzede Apameia Lahiti isimli, Afyonkarahisar’ın bir ilçesi olan Dinar’da ilçe merkezinde devlet hastanesi temel kazısında bulunmuş ve MS II. yüzyılın son çeyreğine ait, ince grenli beyaz Docimeium (İscehisar) mermerinden yapılmış bir lahit mevcuttur. Müzede yer alan diğer eser çeşitlerinden biri ise Artemis heykelciliğidir. Kaide üzerinde ayakta Artemis odak heykeli bulunmakta; sağ elinde ok, sol elinde ise yay tutmaktadır. Yanında başı eksik köpek ile betimlenmiştir. Kaide üzerinde iki satır adak yazıtı bulunmaktadır. Müzede bulunan diğer eser grupları ise şu şekildedir: Çavdarlı-Kovalık Höyük Heykel Grubu, Figürin Başlı Testi, Synnada Sikkesi. Afyonkarahisar için oldukça önemli bir müze olan Afyonkarahisar Müzesi pazartesi günleri kapalı ve diğer günler ise sabah 08.30-17.30 saatleri arasında ziyaretçilere açıktır.