Cumhuriyet sonrasında adı Hakimiyet-i Milliye Meydanı olarak değiştirilen ve günümüzde ise Ulus Meydanı olarak bilinen alanda, yakın zamana kadar Sümerbank’a ait olan binanın bulunduğu alanda var olan bir yapı idi. Bu alan, Taşhan’ın inşasından birkaç yıl öncesine kadar umumi ev, arkası da mezarlık idi. Ankara Valisi Abidin Paşa'nın yaptığı birtakım bayındırlık işleri dolayısıyla bugünkü Ulus semtinin Anafartalar ve Çankırı caddeleri boyunca pek çok bina yıkıldı, yerine Taşhan binasında olduğu gibi, yeni binalar inşaa edildi. Ulus Meydanı’nda, Taşhan’ın karşı sırasında, günümüzde Anafartalar Çarşısı, Zafer Heykeli ve Ulus Çarşısı yer almaktadır. Taşhan’ın önünden Dışkapı yönünde Çankırı Caddesi bulunurken, arkasına düşen alanda uzun yıllar Türkiye İş Bankası’nın genel müdürlüğü olarak hizmet verilen bina ile 1960’lara kadar Başbakanlık Binası, daha sonra da Ankara Valiliği olarak kullanılan binalar bulunmakta idi. Söz konusu valilik binalarında günümüzde Ankara Sosyal Bilimler Üniversitesi'nin rektörlük binaları bulunmaktadır.

Taşhan’ın inşaatına başlanması (ve hizmete açılması) ile ilgili tarihler net olarak belli değildir. Bazı yazarlar 1886-1888 yılları arasında inşa edildiğini yazarken, bazı yazarlar 1888 yılında inşaata başlandığını ve 1892 yılında Taşhan’ın hizmete girdiğini ileri sürmektedir. Dolayısıyla Taşhan’ın 1886 – 1888 yılları arasında inşaatına başlandığı ve 1890-1892 yılları arasında da hizmete girdiği kabul edebilmektedir.

Bina, iki katlı ve avlulu olarak, dış duvarları taştan inşa edilmiştir. İş kısımların yapımında kerpiç kullanılmıştır. İç avlulu, dikdörtgen kütle düzenine sahip olan Taşhan’ın zemini topraktır. Yalın dikdörtgen plan geometrisine sahip birimlerin birleşmesiyle ortada iç avlu oluşturacak biçimde tasarlanırken, giriş kısmında zemin üzerindeki kata öne doğru çıkma yapılarak hareket sağlanmış olmakla birlikte simetrik bir cepte ahlayışı hakimdir. Tesisin modernize edilmiş bir Anadolu kenvansarayı görünümüne sahip olduğuna ilişkin görüşler de vardır. İki katlı olan hanın alt ve üst katlarını ahşap bir tavan ayırmakta idi. Zemini toprak olan hanın alt katı uzun yıllar ahır olarak kullanılmıştır. Üst katlarda odalar ve sofalar, aşağıda avluyu çevreleyen arabalar ve hayvanlar için ahırların yer alması tesisin bir kervansaray anlayışı ile inşa edildiğini düşündürmektedir. Taşhan’ın 100 oda ve yaklaşık 150-200 yatak kapasitesine sahip olduğu anlaşılmaktadır.

Taşhan’ın Çankarı Caddesi’ne bakan zemindeki dükkanların uzun yıllar lokanta, pastane ve çeşitli dükkanlar olarak hizmet verdiği anlaşılmaktadır. Karpiç’in 1927-1933 yılları arasında Taşhan’da görev yaptığı Şölen Lokantası da, dışarıya bakan bu dükkanlardan birinde hizmet sunmuştur. Taşhan’da, mimari özellikleri sabit kalmak üzere, yaklaşık 45 yıllık ömründe birkaç kez tadilat geçirmiştir. Tesisin özelliklerine ilişkin olarak, özellikle Milli Mücadele yıllarında Taşhan’da konaklayan mebuslar, gazeteciler ve üst dereceli yöneticilerin anlatılarından, üst katlardaki zeminin tahta olduğu ve tahtaların aralıklı olmaları dolayısıyla alt katlardaki ahırlardan gelen kokuların üst katlara ulaştığı anlaşılmaktadır.

Taşhan’ın sahibi Cemal Bey’in vefatı üzerine, bankaların alacakları ödenemez hâle gelmiş ve bütün borçların ödenebilmesi için 1933 yılında Taşhan’ın varisleri binayı satışa çıkarmışlardır. Prof. Hermann Jansen’in bütün itirazlarına rağmen 1935 yılında binanın yıkılmasına başlanmış ve 1938 yılında ise yerine yaptırılan Sümerbank binası hizmete girmiştir.