Anadolu Yakası’nda Boğaziçi’nin kısmen dışında kalan sınırı oluşturan Elmasburnu’nun batısında yer alan Ömerli’den gelen Riva (Rhebas) veya İrva Deresi denize dökülmektedir. Riva sözcüğü Eski Yunancada su kenarı anlamını taşımaktadır. Boğaziçi’nin doğu yakasının kuzey kıyılarında yer alan ilk köy yerleşmesi olup günümüzdeki adı Çayağzı’dır. İstanbul Arkeoloji Müzeleri Müdürü P. A. Dethier’in kayıtlarına göre XIX. yüzyılın sonlarında Boğaziçi’nden Karadeniz’e çıkılarak kuzeydoğu yönünde sağ kıyılar izlendiğinde Riva Deresi Vadisi ağzında biraz ihmal edilmiş Riva adlı bir kaleye ulaşılmaktaydı. Riva Deresi’nin geçmişte Karadeniz’den gelebilecek saldırıların şehir içine ulaşabileceği derinliğe sahip olduğu düşünülmektedir. Bu nedenle Riva Deresi’nin ağzında bir savunma yapısı amacıyla Riva Kalesi’nin kurulduğu anlaşılmaktadır. Kayıtlara göre burada doğal bazalt sütunlar denize doğru uzanmaktadır ve bu kalıntılar insan yapımı bir saray kalıntılarını andırmaktadır. Denize sarp inen kıyıda bir dizi mağara tespit edilmiştir. Kale, Boğaz savunma hattının Karadeniz’e uzatılmasını sağlamaktadır. Geç Osmanlı döneminde Avrupa yakasında Kilyos Kalesi inşa edilirken Anadolu yakasında günümüze ulaşan Riva Kalesi ile çevresinde bataryalar inşa edilmiştir.

Bizasn Devri’nde Riva Kalesi, Yoros ve Şile kaleleri ile birlikte 1391 yılında I. Bayezid tarafından fethedilmiştir. XIV. yüzyılın sonlarında Türklerin elinde bulunduğu bilinen kale, Osmanlı belgelerinde Rivancık veya İrve Kalesi adıyla kaydedilmiştir. 1399 yılında İmparator Manuel döneminde Bizans Devleti’ne yardım amacıyla 1500 kişilik bir kuvvetle gelen Fransız Mareşal Jean Le Maingre sire Boucicaut (1364-1421) tarafından kuşatılmıştır. Türkler kalede az sayıda muhafız bırakarak kara içlerine çekilmiştir. Fransız ve Bizans birlikleri Türk kuvvetlerinin karada hücumunu önlemiş, Fransızlar iki gemi sereninden yapılan merdivenle kale duvarlarına on veya on iki asker ile ulaşmışlardır. Ordudaki askerler ise lağım kazarak kaleye girmişler ve kale Türklerin elinden alınmıştır. Mareşal Boucicaut, bu harekatla ilgili hatıratında kalenin lokasyonunu bir tarafı deniz, diğer tarafı ise Türklerin elinde bulunan bir dere ile çevrili, yalnız karadan ulaşılabilecek bir alan biçiminde tanımlamıştır. Eyice’ye göre günümüze ulaşan kale kalıntıları mimari özellikleri bakımından bir Ceneviz yapısı niteliği taşımamaktadır. Bizans devrinde kale yapısının varlığı kesin olarak belirlenememiştir. Kalenin batı yönüne bakan karadan gelebilecek bir tehlikeye en zayıf olan tarafında ayrıca bir dış duvarla çevrili olan yapının batı yönünde bir kapısı daha bulunmaktadır. Batıdaki girişin arkasındaki küçük bir avludan ve  ikinci bir kapıdan daha yüksek olan bir iç kaleye ulaşılmaktadır. Yapıda genellikle taş malzeme kullanılmakla birlikte bazı bölümlerde tuğla örgüler tespit edilmiştir. Kalenin içinde yer alan mahzenler, kapıların yuvarlak taş kemerleri, duvarların yukarı doğru geniş meyilli oluşu geniş mazgalları ile XVII-XIX. yüzyılların İstanbul kale mimarisi özelliklerini taşımaktadır.  Riva adı nedeniyle burada Bizans devrinde bir iskele bulunabileceğini öne sürülmüştür. Günümüze ulaşan kale kalıntısının XIV. yüzyılda Mareşal Boucicaut tarafından fethedilen kalenin yerine yeniden inşa edilmiş bir Geç Osmanlı yapısı olduğu kabul edilmektedir. Lafitte-Clavé, 1784 yılına ait Boğaz tahkimat raporunda Riva Kalesi’nin birkaç yıl önce St. Tropezli marangoz Toussaint tarafından inşa edildiğini yazmıştır. Kalenin inşasında kullanılan yapı taşlarının andezitik kökenli volkanik kayaçlar olduğu ve bu malzemenin Garipçe Formasyonu’na ait lav düzeylerinde sağlandığı belirlenmiştir. Kalede kullanılan harç ve sıva örneklerinin yerel dere yataklarına ait kumlar ve yerel taş ocaklarına ait kuvars ve kalsit içeren agregalardan oluştuğu tespit edilmiştir. Eyüpgiller ve Yaşa tarafından Osmanlı arşivlerinde 1778 (İrve’de yeniden yapılan Revan Kalesi) ve 1781 tarihli iki belgenin Riva Kalesi ile ilgili olduğu belirlenmiştir. Kale hakkında XVIII.-XIX. yüzyıllara ait diğer belgelerde çeşitli yapının gereksinimleri ve çeşitli düzenlemeler kaydedilmiştir. Kale, XIX. yüzyılda P. A. Dethier tarafından Asya içlerinden Boğaz’a ulaşabilecek saldırıların önlenmesi amacıyla inşa edilmiş, ancak ihmal edilmiş bir yapı olduğu kaydedilmiştir. 1838 yılındaki plana göre kale, cebehane, gözcü kuleleri ve bir odadan oluşmaktadır. Yapının güneydoğusunda kalenin sur duvarlarına paralel bir duvar yer almaktadır. Köprü kalıntılarına da dayanılarak bu iki sur duvarı arasında yedi-sekiz metre genişliğinde bir hendek bulunduğu düşünülmüştür. Kalenin 60 m güneyinde yer alan Riva Köyü Camii ise I. Abdülhamid döneminde yeniden onarım görmüş veya yaptırılmıştır. Kent, 1918 yılında İngilizler tarafından işgal edildiğinde kale tahrip edilmiştir. Riva Kalesi restorasyon projeleri 2010 yılında tamamlanmış olup 2016 yılında İstanbul Büyükşehir Belediyesi tarafından restorasyon ihalesi yapılmış ve restorasyon çalışmaları başlatılmıştır.