Kent merkezinin güneybatısında yer alan Kale Mahallesi sınırları içerisinde yer almaktadır. İç Kale ve Aşağı Kale olmak üzere iki kaleden oluşmaktadır. Yerleşimden kaynaklanan yoğunlukla birlikte Aşağı Kale çoğunlukla yok olmuş, yer yer kalan sur parçaları ve kuleleri günümüze gelebilmiştir. İç kale I. Justiniaus MS 527-565 döneminde inşa edilmiştir. 150 metre yüksekliğinde bir tepe üzerinde bulunan kale, düzgün bir plana sahip değildir. Giriş kapısı doğuda olmakla birlikte, dış kapıdan küçük avluya, akabinde ikinci bir kapı ile kalenin merkezine girilmektedir. Duvar kalınlığı bir buçuk metre olan kale, kesme taş ve moloz taştan inşa edilmiş olup, yarım daire planına sahip beş adet kulesi vardır. İç Kale’nin doğusunda kaya oyularak oluşturulmuş bir kuyu bulunmaktadır.

Aşağı Kale’nin MS XIII. yüzyılda inşa edildiği düşünülmektedir. İç Kale’den kuzeydoğu ve kuzeybatı yönlerine doğru açılarak uzayan, denize ulaşan surlarla çevrili iken günümüzde sadece batı duvarlarının bir bölümü kalmıştır. A. Bryer ve D. Winfield (1985) bölgedeki araştırmalarında batı surları üzerinde dokuz kule ve iki kapı yeri olduğunu tespit ettiklerini belirterek, kulelerin dikdörtgen veya yuvarlak planlı, iki katlı bir yapıya sahip olduğu ifade etmişlerdir. Rize Kalesi Osmanlı döneminde onarılarak kullanılmıştır. Günümüzdeki sahibi Hazine olmakla birlikte Kültür ve Turizm Bakanlığı’nın sorumluluğundadır. Birinci derece arkeolojik sit alanı olarak korunmaktadır. Özgün kullanımı kale olmakla birlikte, gerçekleştirilen çevre düzenlemesi ile çay bahçesi olarak işletilmektedir. Kenti seyir için kent merkezindeki ideal noktalardan biridir. 2012 yılından itibaren restorasyon çalışmaları aralıklı olarak devam etmektedir.