Şebinkarahisar ilçe merkezini tepeden gören yapısı ile ilk kaynaklara göre Persler (MÖ 550 – 331), Pontuslar (MÖ 293 – 65) ve Roma İmparatorluğu (MÖ 65 – MS 226) yılları arasında hakimiyet kurduğu bilinmektedir. Tam olarak kimin ve hangi tarihte yapılmış olduğu bilinmemekle birlikte milattan önceye dayanan bir tarihe sahiptir. Eski adı ile Kogonya adı verilen kalenin, Romalılar tarafından ilk kez tadilatlarının yapıldığı, daha sonra birçok savaş sonucunda yıprandığı bilinmektedir. MS 226–591 tarihleri arasında Sasanilerin hükümdarlığında kalan Şebinkarahisar Kalesi, daha sonra 591 yılında Bizans İmparatorluğu’nun egemenliği altına alındı. MS 778 yılında Emevi hükümdarlığına geçen kale, daha sonra Abbasilerin kontrolüne geçti. 1074 yılında Türk beylikleri Danişmendli Beyliği ve Mengücekler tarafından Türk hakimiyetine alınan kaleye, Mengücek Hükümdarı Fahrettin Behramşah tarafından 1184 tarihinde önemli ilaveler ve tadilatlar yapılmıştır. Bu dönemde kalede cami ve saray yapımı olmuştur. Kale, 1473 yılındaki Otlukbeli Savaşı sonrasında Osmanlı hakimiyetine geçmiştir.

Zengin bir tarihi olan kalenin, Pers, Pontus, Roma, Sasani, Bizans, Emeviler, Abbasiler, Danişmendliler, Mengücekler, Selçuklular, Anadolu Selçuklu Devleti, İlhanlılar, Eretna devleti, Akkoyunlular, Karakoyunlular ve Osmanlı izleri taşımaktadır. Rumlar tarafından 1896 yılında Selçuklu mimarisinin özelliklerinden biri olan çift başlı kartal kabartmasının ve kale girişinde Osmanlılardan kalma kitâbenin söküldüğü ve de yok edildiği tarihi kaynaklarda yer almaktadır. Osmanlı döneminde birçok kez tadilattan geçirilmiş ve eklemeler yapılmıştır. 1915 yılı Ermeni isyanı sırasında ve 1939 Erzincan depremi sonrasında oldukça zarar gören kalenin surlarının önemli bir kısmı yıkılmış, kale içindeki evler ve cami tahrip olmuştur. 1920’li yıllarda define arama amaçlı yapılan kazılarda da kale içindeki yapılar zarar görmüştür.

Şebinkarahisar Kalesi, ilçenin güneydoğu tarafında bazalt kayalar üstünde yapılmış tarihi bir kaledir. Kale, yerleştirildiği zemin üzerinden 200 ile 450 metre arasında değişen yüksekliğe sahiptir. Kaleye ulaşım batı yönünden yapılmakta, diğer yönlerde sarp kayalar ve uçurum bulunmaktadır. Kale, iç ve dış kale olmak üzere iki bölümde ele alınmaktadır. Dış kaleye giden tek yol ve iki kapı vardır. İç kaleye geçiş ise tek kapı ile mümkündür. Dış kalenin her yerinde su sarnıçları olduğu görülmektedir. Dış kaleye ulaşım, ilçe merkezinden basamaklar ile yapılabilmekte ve dış kalenin girişinde iki adet yarım dairesel planlı olarak yapılan kule bulunmaktadır. Dış kalenin en önemli eseri, Kızlar Kalesi olarak adlandırılan kuzeybatı yönünde olan büyük bir burçtur. İç kale ise sekizgen bir kule ve onun çevresinde dikdörtgen bir avlu ile Türk mimari özelliği taşıyan bir yapıdadır. İç kale, büyük kule dışında dört küçük kule ile desteklenmiştir. İç kalenin mimari özellikleri Osmanlı mimarisi ile yapılmıştır. Duvar kalınlığı 75-90 santimetre arasındadır. Kale içinde Osmanlı döneminde 70 ev ve Fatih cami olduğu bilinmektedir.

Denizden yüksekliği 1.360 metre olan kalenin, günümüzde basamakları ve surlarının bir kısmı orijinal halini korumaktadır. Şehir merkezinden 160 metre daha yüksek konumda bulunan kale, görkemli yapısı ile dikkat çekmektedir. En son olarak 2003 yılında restore edildi, Bizans ve Romalılara ait mimari eserleri günümüzde yok denecek kadar azdır. Kalenin mimarisi ve geriye kalan eserleri genel olarak Selçuklu ve Osmanlı mimarisine aittir.