Sivas’ın Kılavuz Mahallesi sınırları içinde kalan Yukarı Tekke mezarlığının Mısmılırmak Deresi’ne yakın kısmında yer alan türbe oldukça yüksek bir kayalık üzerindedir. Ne zaman yapıldığı kesin olarak bilinmemekle birlikte, sanduka üzerindeki çinilerin Sivas medreselerindeki çinilerle aynı özellikleri taşıyor olmasından hareketle ilk olarak Selçuklu döneminde yaptırıldığı tahmininde bulunmak mümkündür. Ancak Osmanlı döneminde yapılan birçok onarım ve tadilatla bugünkü halini almıştır. Abdülvehhâb Gâzi Camii’nin kuzey batı cephesine bitişik durumda olan türbeye giriş ve çıkışlar cami içindeki iki ayrı kapıdan sağlanmaktadır.

Halkın sürekli ziyaret edip her çeşit dilekte bulunduğu türbede “Hazret-i Muhammed’in Sancaktarı” olduğuna inanılan Abdülvehhâb Gâzi’nin yattığı anlatıla geliyor. İsmine İslam tarihiyle ilgili bazı kaynaklar ile Battal-nâme, Danişmend-nâme, Müseyyeb-nâme, Mirkâtü’l-cihâd, Saltuk-nâme gibi eski kitaplarda rastlanılan Abdülvehhâb Gâzi’nin önemli bir komutan olduğu anlaşılıyor. Amasya Tarihi adlı eserde yer alan bilgilere göre, Emeviler döneminde Anadolu’yu fethetmeye yönelik savaşlarda yer alan 724-732 yılları arasında düzenlenen birçok sefere katıldı. Battal-nâme ve diğer eski savaş hikâyelerini anlatan kitaplara göre de başta Sivas olmak üzere, Anadolu’da birçok şehri fetheden Seyyid Battal Gâzi’nin önemli komutanlarından biridir. Yer aldığı savaşlar göz önünde bulundurulduğunda, onun ya çok uzun bir ömür sürdüğü ya da sancaktarlığının sembolik-manevi bir görev olduğu akla geliyor.

Mahalli rivayetlere göre, şimdiki Soğuk Çermik mıntıkasında Bizanslılar’la yapılan büyük bir savaşta Abdülvehhâb Gâzi ve dönemin önemli komutanlarından Ahmet Turan Gâzi şehit olurlar. Savaş alanı dere yatağıdır. O esnada şiddetle yağmakta olan yağmurun oluşturduğu sel birçok şehit askerin yanı sıra Abdülvehhâb Gâzi’nin de cesedini alıp götürür. Sel sularının Sivas’a kadar sürüklediği cesedi, daha sonra kumlar içinde bulunarak şimdiki türbesinin bulunduğu yere defnedilir. Yazılı kaynaklar ölüm tarihini 731/732 olarak veriyor.

Şehrin sosyal hayatında önemli bir mekân olma vasfını sürekli koruyan türbeyle ilgili, ilki Çakır Hanoğlu Şerefeddin Ahmet Bey tarafından 1325, ikincisi II. Bayezid döneminde (1495), üçüncüsü ise Zaralızâde Mehmed Paşa tarafından 1747 tarihlerinde olmak üzere üç ayrı vakıf kuruldu. Son kurulan vakıf marifetiyle türbenin yanındaki mescit genişletilerek bir minare, bir zâviye ve bir de çeşme ilave edilip çeşme için Zeynel Suyu adı verilen içme suyu getirildi.

Kesme taştan sekizgen planlı ve tek katlı olarak inşa edilen türbenin üzeri kubbe ile örtülüdür. Ortada bir sanduka vardır ve üzeri altıgen şeklinde turkuaz çinilerle kaplıdır. Sayıları çok olmamakla birlikte patlıcan moru renkli çiniler de mevcuttur. Tahribatın çok olması nedeniyle parça çinilerle kuzey yüzeyi yeniden yamandı. Lahitte geometrik yıldız, sekiz ışıklı yıldız, basit geometrik ve siyah zemin üzerinde geometrik örgülü farklı biçimde çiniler yer alıyor. Sonradan yazıldığı anlaşılan mezar taşı üzerinde şu ifadeler yer alıyor: “Hüvelbâkî, ashâb-ı kirâmdan, hâzâ merkadi’lmagfurü’l-merhum hazret-i Abdülvehhâb Gâzi radıyallâhü anh, ruhuna Fatiha, sene 113”. (M. 731).

Sadece şehir halkı değil, müşteri olarak dışardan gelen diğer insanlar için de büyük bir cazibe merkezi olan bu türbe ve camii inanç turizminde çok önemli bir yere sahiptir.