Kentin merkezi yerinde, Karaman Beyliği döneminden kalmış olan Hatuniye Medresesi’nin hemen arkasında yer alıyor. Kuruluşundan itibaren birkaç kez taşınmış olan müze günümüzde iki katlı bir binadan oluşan şimdiki yerinde bulunuyor. Müze binasında Epipaleolitik, Neolitik, Kalkolitik, Tunç, Demir, Klasik, Helenistik, Eski Yunan, Roma, Bizans, Selçuklu, Karamanoğulları, Osmanlı ve Cumhuriyet dönemlerine ait eserler sergileniyor. Müze envanterine kayıtlı yaklaşık 15 bin eseri bulunan müzede bu eserlerden yaklaşık olarak bin tanesi sergilenebiliyor. Müzenin arkeolojik eserlerinin sergilendiği bölümde tarih öncesi dönemlere ait taştan yapılmış ezgi taşları; çeşitli hayvan kemiklerinden yapılmış kesici, delici, yüzücü aletler; doğal cam, obsidyenden yapılmış mızrak – ok uçları, çeşitli dönemlere ait çeşitli formlarda pişmiş topraktan imal edilmiş olan kap – kacaklar sergileniyor. Giyimli’de yapılan kaçak kazılarla ortaya çıkarılan giyim apliklerinin de bir kısmının bu müzede yer aldığı tahmin ediliyor. Müzede sergilenen lekitoslar MÖ VI. ve MÖ V. yüzyıla tarihlendiriliyor. Bu kaplar Mersin, Muğla ve Adıyaman çevresinden getirildi. Karaman’ın çeşitli ilçelerinde bulunmuş olan Roma dönemine ait cam şişe koleksiyonu hem şekilleri hem de renkleri bakımından ilgi çekiyor. Yine Roma dönemine ait bronzdan yapılmış küçük tanrıça ve hayvan figürinleri, kemik idol sapları, çeşitli sahneler içeren mühürler, cam ve değerli taşlar kullanılarak imal edilmiş olan bilezik – kolyeler ile altın alınlık da sergilenen önemli eserler arasındadır. Müzede yine bu alanda MS II. yüzyıla tarihlendirilen Asklepios heykeli ile MS III. yüzyıla tarihlendirilen Sidemara tipi bir lahit yer alıyor. Ayrıca müzenin bahçesinde çok sayıda Roma dönemi mezar kitabeleri vb. taş eserler de sergileniyor.

Bizans dönemi kısmında çeşitli kapların yanında, çini tabak, bronz kandiller, üzerinde İsa ve Meryem figürlerinin işlendiği çeşitli formlara sahip haçlar ve madalyonlar bulunuyor. Ayrıca havası alınmış özel bir cam fanusta Manazan Güzeli olarak adlandırılan iyi derecede korunmuş denilebilecek bozulmamış bir kadın mumyası da bu bölümde sergilenen eserler arasındadır. Karaman Müzesi'nde MÖ VI. yüzyıl sonlarından Cumhuriyet dönemine kadar sikke örneklerinden bulunuyor. Bu bölümde Pers, Yunan, Roma, Bizans, Sasani, Venedik, Emevi, Abbasi, Zengi, Memlüklü, Fatimi, Selçuklu, Karamanoğulları, Artuklu, Osmanlı ve Cumhuriyet dönemlerine ait sikkeler, arka yüzlerinin de fotoğraflarının gösterilmesi ve kısa açıklamaları ile tanıtılıyor. Bu da ziyaretçiler için büyük kolaylık sağlıyor. Karamanoğulları dönemine ait sikkelerin en iyi örneklerinin bu müzede sergilendiği söylenebilir. Ayrıca yine Karamanoğulları dönemine ait az sayıda günümüze ulaşabilen çini örneklerinden de sergileniyor. Müzede, Selçuklu döneminden kalma madeni şerbet kazanı, Karamanoğlu Beyliği dönemine ait 18 santimetre çapında bronz döküm top da ziyaretçilerin ilgilerini çekebilecek eserler arasında yer alıyor. Bu eserler haricinde müzede çeşitli dönemlere ait silahlar, ahşaptan yapılmış çıkrık, ezme havanı, kahve soğutucusu, aynalık, rahle, nalın, kirman gibi eserler de sergileniyor. Bu eserler arasında yine ahşaptan yapılmış iki diptykhon, bir kozmetik takımı ve İkonastasis kapısı oldukça dikkat çekicidir.

Ayrıca müzede, 1786 yılında yapılan ve günümüzde yıkılmış olan Hacı Emin Ağa evine ait taş ocak, vitray pencere ve dolapları; Taşkale’ye ait olan ve üzerinde çeşitli motiflerin işlendiği dikdörtgen şekilli bir halı; Yörük kültürünün özelliklerini gösteren kilim, heybe, yastık yüzü; iki ucunda ahşap gergileri bulunan deriden yapılmış bebek beşiği; gelinlerin özel günlerde giydikleri fotin, lapçon, kudüm gibi eserler de bulunuyor. Karaman müzesinde gösterimde olan yazılı eserler arasında tezhipli kuranlar, şecereler, şer’i mahkeme tutanak örnekleri, Ahi Evran Fütüvvetnamesi gibi eserlerle birlikte divani hatla yazılan çeşitli padişah fermanları ve buyrukları da sergileniyor.