Müzenin oluşumuna 1930’lu yılların ortalarında başlandı. Gazi Eğitim Enstitü’nün çatı katında Malik Aksel çok değerli eşya ve belgelerle birlikte çeşitli resimler buldu. Bu yıllarda dönem enstitü müdürü İsmail Hakkı Tonguç’tur. İsmail Hakkı Tonguç 1929-1933 yılları arasında Gazi Eğitim Enstitüsü’nde öğretmenlik yaptı ve 1932 yılında Malik Aksel, Hayrullah Örs, Şinasi Barutçu, İsmail Hakkı Uludağ ve Mehmet Ali Atademir ile Resim-İş Bölümü’nü kurdu. 1934-1935 yıllarında ise Gazi Eğitim Enstitüsü’nde müdür vekilliği görevini yürüttü.

Tonguç, müdür vekilliğine 1934’te atandığı zaman ele alınması gereken konular arasında, binanın geniş ve güzel üst kat koridorlarında bir resim galerisi oluşturulması, bu galeride öğrenci eserlerinin sergilenmesi ve sürekli sergi salonu oluşturarak buradaki eserlerden sanat eğitiminde yararlanılması gerekliliğini gündeme getirildi. Çatı katında bulunan resimler ile Ankara’nın ilk sanat müzesi, Gazi Eğitim Enstitüsü’nün üst koridorunda açıldı. 03. 08. 1935 tarihinde İsmail Hakkı Tonguç Gazi Eğitim Enstitüsü'nün müdür vekilliğinden ayrılarak İlköğretim Genel Müdür vekili tayin edildi. 1935’te bu resimler Atatürk’ün emriyle İstanbul’a Dolmabahçe Sarayı’na götürüldü. Güzel Sanatlar Akademisi Müdürü Leopold Levy’nin nezaretinde resimler Dolmabahçe Sarayı Veliaht Dairesi’ne yerleştirildi ve burada sergilenmeye başlandı. Bu resimler İstanbul Resim Heykel Müzesi’nin çekirdeğini oluşturmaktadır. Müze, daha sonra Mimar Sinan Üniversitesi’ne bağlandı. Gazi Eğitim Enstitüsü'nün Resim-İş arşivinde bulunan eski fotoğraflar, fotoğraf makineleri, yağlı boya-sulu boya tablolar ve grafik eserleri yeniden bir araya getirilerek müze koleksiyonuna dahil edildi. İsmail Hakkı Tonguç’un ölümünün 19. yıl dönümünde büyük bir katılımla, Hidayet Telli’nin önderliğinde, Gazi Eğitim Enstitüsü’nde Tonguç Müzesi açıldı. Gazi Eğitim Enstitüsü, Gazi Üniversitesi’ne bağlandığında müze kapatıldı.

1989-1990’da Gazi Eğitim Fakültesi dekanı Reşat Genç ve Resim-İş Eğitimi Bölümü öğretim üyelerinden Yüksel Bingöl, Hulusi Sezer ve Söbütay Özer’in özverili çalışmaları ile müze yeniden yapılandırıldı. Rektörlük binası bodrum katında bulunan depolardan birkaçı onarılarak müzenin bugünkü yerine taşınması sağlandı. Çeşitli etkinlikler düzenlenerek çoğunluğu Gazi Üniversitesi’nde eğitimcilik yaptı ya da Gazi Üniversitesi’nden mezun olan sanatçılardan bağış yöntemi ile eserler alınarak müze koleksiyonu güçlendirildi ve müze Gazi Resim Heykel Müzesi adıyla yeniden ziyarete açıldı. Müze koleksiyonunda Halil Paşa, Baltalı Ahmet Bedri ve Arif Kaptan’ın da aralarında bulunduğu sanatçılar, Cumhuriyet dönemi sanatçılarından Ayetullah Sümer, Namık İsmail, Feyhaman Duran, Sururi Taylan, Zeki Faik İzer, Cevat Erkul, Mehmet Ali Laga ve Kenan Yontuç’un eserleri ile daha sonraki dönemlerden Malik Aksel, Refik Epikman, Eren Eyüboğlu, Ali Naci Eren, Mesut Erdem, İ.Hakkı Karayiğitoğlu, Nurettin Ergüven, Veysel Erüstün, Cemal Bingöl, Hasan Kavruk, Adnan Turani, Nuri Abaç, Turan Erol, Mürside İçmeli, Kayıhan Keskinok, Burhan Alkar, Süleyman Saim Tekcan, Nevzat Akoral, Mustafa Ayaz ve Söbütay Özer’in eserleri olmak üzere 281 eser bulunmaktadır. Müzenin koleksiyonunu resim, heykel, seramik, grafik ve özgün baskı resimler oluşturmaktadır.