Caminin inşa kitabesinin olmaması nedeniyle yapılış tarihi ile ilgili net bir bilgiye ulaşılamamıştır. Kaynaklarda caminin 1561-1565 yılları arasında veziriazam Cedid (Semiz) Ali Paşa tarafından Mimar Sinan’a inşa ettirildiği bilgisi yer almaktadır. Cedid Ali Paşa Camii, Selimiye Camii’nin küçük bir modeli olarak inşa edilen, Kırklareli Babaeski istikametinde İstanbul’dan Edirne’ye ve buradan Rumeli’ye doğru uzanan büyük kervan ve sefer yolu üzerindeki menzil külliyelerden biridir.

1574-75 tarihli Osmanlı Vakıf Muhasebe kaydında caminin, hamam, kervansaray ve dükkânlardan oluşan bir külliye içinde inşa edildiği belirtilmektedir. Fakat Balkan Savaşları’nda Trakya’nın işgal edilmesiyle cami ve hamam dışındaki yapılar yok olmuştur. Muntazam işlenen kesme taşlardan yapılan cami minaresi Balkan Savaşları sırasında yıkılmış, 1934 yılında yeniden inşa edilmiştir. Edirne’de bulunan Ali Paşa Çarşısı bu camiye gelir getirmesi amacıyla yaptırılmıştır.

Cedid Ali Paşa Camii, Mimar Sinan’ın altı destekli mimari özellikte inşa ettiği camilerdendir. Cami avlusunun ortasında çokgen bir şadırvan yer almaktadır. Camide Türk üçgenleri, sivri kenarlar, mukarnas ve kalem işi süslemeler, geometrik ve bitkisel formlar, mihrapta kafes oyma tekniği gibi süsleme ve mimari teknikler kullanılmıştır. Ayrıca, yapı genel anlamda XVI. yüzyıl klasik biçimini günümüzde de korumaktadır.

Caminin batı kapısında yer alan kitabesinde 1832-33 yıllarında caminin Sultan II. Mahmut tarafından tamir edildiği bilgisi yer almaktadır. 1986-1988 yılları arasında Vakıflar Bölge Müdürlüğü tarafından restorasyon projesi gerçekleştirilmiş, özellikle kalem işi restorasyonlarında orijinal klasik dekorasyonun korunması amaçlanmıştır. 2013 yılında ise son cemaat mahallindeki ahşap kısmın onarımı yapılarak, camideki kurşun kaplamalar yenilenmiştir. 2018 yılında Vakıflar Bölge Müdürlüğü tarafından camide rölöve ve restorasyon projesi başlatılmıştır, projenin 2020 yılında sona ermesi planlanmaktadır.

Cami, İstanbul ve bölge illeri merkezli kültür ve inanç turizmi rotalarında yer almaktadır. Ayrıca, Mimar Sinan’ın eserlerinin gezildiği Birinci Sinan Gezi Yolu: Büyükçekmece’den Havsa’ya adlı tur güzergâhında ziyaret edilen önemli tarihi ve dini yapılar arasındadır.