Caminin kitabesinden 1574-1575 yıllarında yapıldığı anlaşılmaktadır. Sokullu Mehmet Paşa tarafından Payas’ta 1574 yılında Mimar Sinan ve Hassa mimarlar teşkilatına yaptırılmıştır. Sarı Selim Camii, etrafındaki Medrese, Sıbyan Mektebi, Arasta, Han, Çeşme, Tabhane, İmaret, Hamam ve Çeşmeden oluşan diğer yapılarla beraber bir külliye teşkil etmektedir. Osmanlı’nın yükselme devrine ait olan bu külliye; sübyan mektebi, hamamı, aşevi, dinlenme salonları, dükkân ve han odaları, avluları, bahçeleri ile mükemmel bir şekilde tasarlanan ve yolcuların her türlü ihtiyacının detaylarıyla düşünülüp karşılandığı harikulade bir yapıdır. Külliyenin yapılacağı 15 dönüm zeytinlikteki ağaçların, biri hariç tamamı kesilmiştir. Padişahın emriyle Sarı Selim Camii bahçesindeki simge ağaca dokunulmamıştır. Yaşlı ağaç, Hünkâr zeytini olarak kalmış ve günümüze kadar ulaşmıştır. Cami, Bölgenin hac yolu üzerinde olmasından dolayı külliye, uzun zaman önemli konaklama merkezlerinden biri olmuştur. Bedesten, kervansaray ile cami arasına yerleştirilmiştir.

Sarı Selim (II. Selim Camii), Türkiye’nin en büyük kervansarayı olan bu eser içinde yer almaktadır. Cami, yapıldığı tarihten günümüze kadar ibadete açık olarak işlevini devam ettirmiştir. Caminin ibadet yerini, iki küçük kubbe ile desteklenen bir büyük kubbe örtmektedir. Kuzey, güneyi ve doğusu 29 payeyi taşıyan çapraz tonozlu revaklarla kaplıdır. Revakların arkasında yolcuların konakladığı hücreler bulunmaktadır. Son cemaat yeri yedi revaklıdır. Ancak bütün revaklar bilinmeyen bir sebep ve meçhul bir tarihte tamamen yıkılmıştır. Caminin ön revakları modern yapı malzemeleri kullanılarak aslına uygun bir şekilde onarılmıştır.

Cami, ters “T” planına sahiptir. Avlusu 18 hücre ile çevrilidir. Hanegâh olarak kullanılan hücre odalar avlunun doğu, batı ve kuzey duvarları boyunca sıralanmıştır. Ön kısımları revaklı olan bu hücrelerin revakları günümüze ulaşmamıştır. Hücreler birer kapı ve pencereyle avluya açılmıştır. İçlerinde dolap nişleri ve ocaklar bulunmaktadır. Buralarda yatılı olarak kalan öğrencilere çeşitli eğitimler verildiği tahmin edilmektedir. Odalar içinde su kuyusu, şadırvan ve anıt zeytin ağacı bulunan bir avlu etrafında düzenlenmişlerdir. Payas’taki II. Selim Külliyesi’ne dahil olan caminin avlusundaki 1300 yıllık bu zeytin ağacı, dünyadaki uzun ömürlü meyve veren zeytin ağacı olarak kabul edilmektedir. Evliya Çelebi’nin de Seyahatnamesi’nde bahsettiği ve senede ortalama 300 kilogram meyve veren bu yaşlı zeytin ağacı, Kültür ve Tabiat Varlıkları Koruma Kurulunca 1976’da anıt ağaç olarak tescillenmiştir.