Kütahya’da hâkim bir tepe üzerine kurulan kalenin yapanı ve yaptıranı bilinmemektedir. Kale Bizans, Germiyanoğulları ve Osmanlı olmak üzere farklı dönemde onarımlar geçirmiştir. Yapı, günümüzdeki konumunu farklı dönemlerdeki inşa aşamalarından sonra almıştır. Kütahya Kalesi, yukarı kale/asıl hisâr (Kala-i bâlâ), iç kale/iç hisâr ve aşağı kale (Kala-i sagîr) olmak üzere üç kısımdan oluşmaktadır. İlk olarak Bizanslılar şehre hâkim olup, sarp bir tepe üzerine bir şato yaptırmıştır. Bu yapı burçlarla iki kat sur içine alınmıştır. Buna Yukarı kale de denilmektedir. Osmanlılar zamanında ise eski kalenin kuzey tarafının alt kısmında aşağı kale yaptırılmıştır. Yukarı kalenin içinde batı tarafında iç kale mevcuttur.

Yukarı kale ile ilgili bilgilere Ch. Texier, V. Cuinet, Bertrandon de la Broquiere, Evliya Çelebi, Baptistin Poujoular ve A. D. Modrtmann’dan ulaşmak mümkündür. Yukarı kalenin kuzey-doğu tarafında ve güneyinde iki ana kapısı, doğusunda küçük bir kapısı vardır. Yukarı kalede var olduğu söylenen kilise günümüzde mevcut değildir ve Kal’a-i Bâlâ Camii yenilenerek günümüze gelmiştir. Yukarı kale surları, malzeme ve inşa tekniği bakımından üç ayrı inşa aşaması geçirdiğini göstermektedir. Buna göre surların bir kısmı, Bizans zamanından VII. ve VIII. yüzyıl arası ile IX. ve XII. yüzyıl arasından kalmıştır. Osmanlı Dönemi’ndeki inşası Germiyanoğulları Beyliğine mâl edilmiştir. İç kale yukarı kalenin batı köşesindedir. İç kalenin doğu tarafındaki kapısından geriye sadece kapı açıklığının iki yanındaki duvar kalıntıları kalmıştır. Bu kapının sol ve kuzey tarafındaki kuleler Türk dönemine ait olmasına rağmen doğu duvarının Bizans surlarıyla birleştiği yerdeki burcun malzeme ve işçiliği dokuzuncu ve XII. yüzyıllar arasına aittir. Evliya Çelebi’nin bahsettiği yapılardan geriye sadece sarnıç kalmıştır. İç kale duvarları moloz taş kullanılarak yığma duvar olarak inşa edilirken, kemer ve örtünün tuğla malzemeye sahip olduğu görülmektedir. Aşağı kale köşeli kuleleri sebebiyle eski Türk devrinden kaldığı anlaşılmaktadır. Yukarı kalenin kuzey tarafında tepenin eteklerine kuruldu. Kalenin kapısının kemeri ve sur duvarları yıkıldı ancak batı tarafındaki köşeli kuleleri ayaktadır. Duvarlarının moloz taş kullanılmak suretiyle yığma duvar tekniği ile inşa edildiği görülmektedir.