Eski ismi “Rabat” olan Şeytan Kalesi, Yıldırımtepe köyü merkezinin yaklaşık 1,5 kilometre kuzey doğusunda bulunan Karaçay Vadisi’nde sarp bir alanda inşa edilmiştir. Üç tarafı da uçurumla çevrili olan bu tepeye yalnızca bir yönden ulaşılabilmektedir. Kaleye konumundan dolayı ulaşımın ve ele geçirilme ihtimalinin zor olmasından kaynaklı olarak Şeytan Kalesi dendiği belirtilmektedir. Ancak halk arasında kaledekilerin yenilmezliğinin kötü ruh ve şeytanla bağlantılı olduğu efsaneler de vardır.

Deniz seviyesinin 1910 metre üzerinde olan Şeytan Kalesi, günümüze sağlam şekilde ulaşmıştır. 161*93 metre ebadında asitmetrik bir plana sahip olan kalede üç kule bulunmaktadır. Bu kulelerden yalnızca birisi günümüze düzgün bir şekilde ulaşabilmiştir. Gece aydınlatılan kaleye, hemen yakınlarındaki seyir tepesine kadar uzanan bir araç yoluyla gidilebilmekte sonrasında ise bir patika ile yola devam edilebilmektedir.

Kalenin yapılma tarihi kesin bilinmemekle birlikte, sahip olduğu genel özellikler dolayısıyla Urartu kalelerine benzetilmektedir. Kalenin iki vadinin kesişim noktasında yer alması, sarp ve yalçın bir alanda inşa edilmiş olması, su sarnıcına sahip olması, su ile bağlantılı olması, gizli su yollarının bulunması, kaleye uzanan yolların Urartuların ordu yollarının özelliklerini barındırıyor olması, Urartulara ait olduğu düşüncesini güçlendirmektedir. Sarp ve oldukça yüksek bir noktada yer alan Şeytan Kalesi, yaklaşık 36 kilometre kuzey doğusunda ve Kura Nehri’nin sol kıyısında konumlanan Kurtkale ile benzer yapı özelliklerine sahiptir.

Duvar örgüleri, burçlar ve diğer mimari özellikleri kalenin Orta Çağ’da inşa edilen yapılara benzediğini göstermektedir. Kalenin içerisinde, bir Orta Çağ Gürcü şapeli, bu şapelin 23 metre kuzeydoğu tarafında konumlanan bir su sarnıcı, öte yandan kalenin güneybatı surlarına bitişik inşa edilmiş olan ve muhtemelen depo olarak kullanılmış dikdörtgen şekilde bir yapının olduğu belirtilmektedir. Bu yapıların yanı sıra kalenin kuzeyinde ve kuzeybatısında temel seviyelerde gözlemlenebilecek farklı birtakım yapılara ait kalıntıların varlığı görülmektedir.

Şeytan Kalesi, bölgenin Eski Çağ dönemlerine kadar uzanan taşınmaz kültür varlıkları arasındadır. Kafkasların Anadolu’ya bağlandığı stratejik bir geçiş noktasında ve derin vadi içerisinde yarımada üzerinde konumlanan kale, doğal ve beşerî faktörlerin etkilerinden kaynaklı olarak tahribata uğramıştır.