Afyonkarahisar’ın merkeze bağlı Tacı Ahmet, Kale, Burmalı ve Olucak mahallelerinin ortasındadır. Oluşumu üçüncü jeolojik devire tarihleniyor. 226 metre yükseklikteki volkanik bir kaya kütlesi üzerindedir. MÖ 1321-1295 tarihleri arasında Hitit İmparatoru II. Murşili zamanında, Arzava Seferi’nde savunma ve iskân amaçlı olarak kullanıldığı düşünülüyor. O dönemdeki adı, Hapanuva’dır.

Kalenin zirvesinde Firigler’in hâkimiyet kurdukları döneme tarihlendirilen yapılar mevcuttur. Zirvede dört adet büyük sarnıcın yanında Ana Tanrıça Kybele’ye adanan kayaya oyulan sunu çanakları bulunuyor. Sarnıçlar Doğu Roma (Bizans) dönemine tarihleniyor. Roma ve Doğu Roma (Bizans) dönemlerinde kale ve etrafında yerleşim görülüyor. O dönemde adı, Akroinos’tur. 740 yılında Doğu Roma ve Emeviler’in karşı karşıya geldiği ve Battal Gazi’nin şehit olduğu Akroinos Muharebesi kale civarındadır. Türkiye Selçuklu Sultanı I. Alaeddin Keykubat (1220-1234) zamanında kale komutanı olarak atanan Bedrettin Gevhertaş Afyonkarahisar Kalesi’nde bulunan yapıları onartmıştır. Bununla birlikte büyük bir imar faaliyetine giren Bedrettin Gevhertaş mescit, kız kulesi (gözetleme kulesi) ve erzak depoları gibi yapıları kaleye kazandırmıştır. Mescit şu an yoktur. Evliya Çelebi eserinde çini mozaikten bir mihrabın varlığından söz ediyor. Mihrap büyük ihtimalle bugün Mısri Camii’ne taşınmıştır. Afyonkarahisar Kalesi 1277 yılında Türkiye Selçukluları’na isyan eden Karamanoğlu Mehmet Bey tarafından kuşatılmışsa da, alınamamıştır. 1573’te Osmanlı Sultanı II. Selim’in emriyle Mahmut Bey tarafından burçları, sarnıçları ve kulesi tekrar onarılmıştır. Fakat kalenin onarım kitabesi işgal döneminde İngilizler tarafından götürüldüğü için bugün yoktur.

Kale önemli şahsiyetlerin bir dönem hapsedildiği yerdir. Türkmen beyi Ali Bey bu kalede hapsedilmiş ve burada ölmüştür. Kale aynı zamanda Sahip Ata Fahrüddin Ali’nin servetini sakladığı yer olarak biliniyor. Kalenin zirvesinde bulunan gözetleme kulesi Kız Kulesi olarak adlandırılıyor. Kuleye bu adın verilmesinin sebebi gelinlik çağı gelmiş kızların bu kuleye çıkarak ahtım ahtım, evlenmek vaktım tekerlemesini söyleyerek dilekte bulunmalarıdır.