Evliya Çelebi Harput’ta dokuz camiden bahsediyor. Ağa Camii de bunlardan biridir ve Ağa Camii’den nazik minareli cami olarak söz ediyor Evliya Çelebi. 1559 yılında Pervane Ağa tarafından yaptırılan cami ilk yapıldığı zaman mescit olarak yapılmış ve zaman içerisinde yıkılmıştır. Cami hakkında kayıtlarda şöyle yazmaktadır; “Cami yarım asırdan fazla bir zaman mevcudiyetini, düne kadar muhafaza etti, 15-20 sene içerisinde ise camiye ve bilhassa çatısına bakılmadığından dolayı maalesef 5. 03. 1957 Salı günü büyük bir gürültü ile yıkıldı. Enkazı satılarak elde edilen parası diğer ayakta duran camilerin tamirine sarf edilmek üzere Harput’u Kalkındırma ve Güzelleştirme Cemiyeti’ne verildi. Minaresi sapasağlam durmaktadır.”

Sadece minaresi ayakta kalan caminin Sarını Köyü ağaları tarafından tamir edilmesinden dolayı Ağa Camii adını aldığı rivayet edilse de bu ismi Pervane Ağa’dan dolayı mı yoksa Sarını Köyü Ağarlarından dolayı mı aldığı belli değildir. 1889 Harput’ta bulunan Saray Hatun Camii’nin vakfının yürütücüsü olan Hacı Abdulhamit Efendi’nin kontrolünde harabeye dönen cami tamamen yıktırılarak kargir, kubbeli ve minareli olarak tekrar yapıldı. Prof. Dr. Mehmet Ali Ünal’ın yaptığı incelemede XIV. yüzyıldaki Evkaf defterinde bu camiden Pervane Câmii olarak bahsedildiği görülüyor. Resmi kayıtlarda bu camiden ilk kez 1566’da bahsediliyor. Bu kayda göre caminin 2.280 akçe geliri olduğu görülüyor.

Ağa Camii’nin mimari olarak insanı hayrete düşürecek bir mimariye sahip olduğu söylenemez. 80 santimetre genişliğinde dört adet taş duvarla yükseliyor. Duvarların orta kısmına bir kubbe vardır ve etrafı düz tonoz şeklindedir. Yaklaşık bir asır önce caminin dam ve kubbesi toprak altında kalmıştır. Daha sonra vatandaşlar tarafından camiye yeni bir çatı yaptırılmıştır. Caminin Saraçhane Caddesi’ne ve Üçlüle Çeşmesi’nin üst tarafına açılan iki kapısı bulunuyorken zamanla tek kapıya düşürülmüştür. Caminin konumu birkaç mahallenin kesişim noktasında olduğundan beş vakitte de cemaati olan bir camidir.