Önceleri Şeyh Çoban Mahallesi’nde yer alan ve bu semte adını vermiş olan türbe, mahallelerle ilgili yapılan son düzenlemede Kaleardı Mahallesi sınırları içerisinde kalmış olup yapım tarihi kesin olarak bilinmemektedir. Türbe, mescit, çeşme, hangâh ve zaviyeden oluştuğu bilinen külliyenin çeşme kitabesinde H. 723 (M. 1323) yılında inşa edildiği yazılıdır. Bazı uzmanlar bu bilgiden hareketle türbenin de 1323 yılında yapılmış olabileceği tahmininde bulunmuşlardır. Burada Şeyh Hüseyin Raî veya Şeyh Çoban Veli adıyla bilinen kişinin mezarı bulunmaktadır. Bazı menakıb kitaplarında bu kişinin Necmeddin Kübra’ya bağlı bir şeyh olduğu yazılı olup hakkında kesin bilgi bulunmamaktadır. Türbenin günümüze ulaşan üç kitabesi vardır. Bunlardan ilkinin okunan kısımlarında: “Bu yıkık mescit Allah’ın yardımına muhtaç Eşref ... tarafından 772 (M. 1370) tarihinde onarılmıştır.”; ikincisinde: Bu kubbe, rahmetli, günahları bağışlanmış, Allah’ın rahmetine muhtaç Şeyh Çoban’a aittir. Allah kabrini nurlandırsın. Ulu Sultan Mehmed -Allah mülkünü daim eylesin- devleti günlerinde Pir Ahmed Bey’in azatlı kölesi Yusuf bin Abdullah tarafından 862 (M. 1458) tarihinde onarıldı.”; Üçüncüsünde ise: “1318 (M. 1900/1901) sene-i hicriyyesinde ve şevketlü Gazi Abdülhamid Han-ı Sânî hazretlerinin, taht-ı saltanatlarında Şeyh Hüseyin Râi kaddese sırrahü’l-Bâri hazretlerinin işbu türbe-i şerifesi mütevellilerinin mesal-i mahsusa-i hamiyet-perverâneleriyle tecdiden inşa olunmuştur.” ifadeleri yer alır. Kitabelerdeki bilgilerden türbenin Eretna Beyliği ve Osmanlılar döneminde kapsamlı onarımlardan geçirildiği ve ilk halinin bir hayli değişikliğe uğratıldığı anlaşılmaktadır.

Osmanlı döneminde kurulmuş olan Şeyh Çoban Veli Vakfı’na gelir olmak üzere, “Beypınarı, Emirhan ve Tozanlı nahiyesine bağlı Gibis (Almus’ta Bağtaşı) köylerinin vergi gelirleri ile Sivas’ta bulunan 52 tarlanın mahsul gelirleri vakfedilmişti.” Tüm zaviye görevlilerinin maaşları, tekkede bulanan, dervişler ve burada konaklayan yolcuların yeme içme giderleri vakıf bütçesinden karşılanıyor, başta çeşme ve suyolu olmak üzere tüm türbe, mescit gibi diğer binaların bakım ve onarım işleri de yine vakıf tarafından yaptırılıyordu.

Türbe, kare planlı olup kesme taştan yapıldı. Mezar odası, ziyaret yeri ve üst örtü olmak üzere üç birimden ibarettir. Mezar odasına ziyaret yerinde bulunan kapağın altından inilmektedir. Burada bulunan üç mezardan biri Şeyh Çoban’a, diğeri Taceddin-i Arifî’ye, ötekisi ise Şeyh Çoban’ın soyundan Şeyh Hüseyin’e aittir. Ana birimi oluşturan ziyaret yerinin batı ve kuzey cepheleri sağır duvar olup doğu cephesinde dikdörtgen bir pencere, güneyde ise giriş kapısı ve açıklık yer almaktadır. Yapıya giriş, kemerli bir kapıdan verilmiş olup bu kapının batı yanında, girişin iki katı genişliğinde demir parmaklıkla kapatılmış yuvarlak kemerli bir açıklık mevcuttur. Tabanı tahta ile kaplanmış olan ziyaret yerinin içinde ahşap iki sanduka bulunmaktadır. Bunlardan açıklığın önünde olanı Şeyh Çoban’a aittir. Diğerinin üzerinde ise Şeyh Taceddin-î Arifi yazısı bulunmaktadır. Ziyaret yerinin iç ölçüleri 6,65x6,65 metre olup, sekizgen kasnaklı kubbeye geçiş tromplar yardımıyla sağlanmıştır. Kubbe kasnağının dört ana yönünde oval pencereler mevcut olup bunların sonradan açılmış oldukları anlaşılmaktadır. Kubbe üstü basık ve konik bir çatı ile örtülmüştür. Çatı, önceleri üzeri yeşil sırlı ve oluklu kiremitle kaplıyken daha sonra yapılan onarımlarda bunlar değiştirilmiş ve yerine oluklu kırmızı kiremit kullanılmıştır. Çatı zirvesinde ise lale biçiminde ve pirinçten imal edilmiş bir alem görülmektedir.

Mülkiyeti Vakıflar Genel Müdürlüğü’ne ait olan türbe 2004 yılında restore edilmiş ve yapılan bu restorasyonda, beden duvar taşları temizlenmiş, iç sıva yenilendi ve çevre düzenlemesi yapılmıştır. Halk tarafından evliyaların çobanı, piri olduğuna, sandukasının yanında bulunan gürz ve sancağın savaş dönemlerinde kaybolduğuna, böylece onun savaşlara katılmaya devam ettiğine inanılan Şeyh Çoban’ın türbesi, askere gidecek gençler, çocuk özlemi çeken çiftler ve yatağını ıslatan çocuklar tarafından yıllarca ziyaret edilmiş olup inanç turizminde önemli bir yere sahiptir.