Müzenin açılması projesi Cumhuriyet’in kuruluşu ile birlikte gündeme geldi. Çeşitli sebeplerle gerçekleşmeyen bu proje, 1970’lerin ikinci yarısından sonra yeniden canlandı. Ankaralı ressamların girişimiyle 1975 yılında Kültür Bakanlığı Güzel Sanatlar Genel Müdürlüğü, Mimar Arif Hikmet Koyunoğlu’nun 1927’de projelendirdiği, 1930 yılında inşası tamamlanan Türk Ocağı Binasını yeni müze için tahsis etti. Eşref Üren, Arif Kaptan, Turan Erol, Orhan Peker, Refik Epikman, Şefik Bursalı, Mehmet Özel ve Osman Zeki Oral’dan oluşan ikişer kişilik dört ekipten oluşan seçici kurul, kamu kuruluşlarını dolaşarak müzeye konabilecek yapıtları belirlediler. 800 yapıt müze koleksiyonuna dahil edildi. Osman Hamdi Bey’in Silah Taciri, V. Vereshchagin’in Timur’un Mezarı Başında, Zonaro’nun Genç Kız Portresi, Emel Cimcoz’un (Korutürk) Gazi’ye Şükran tabloları koleksiyonun ilk yapıtları oldu. Başbakanlık genelgesiyle kamu kuruluşlarından iki kez yapıt toplandı, sonunda 1.200 eserlik bir koleksiyon oluştu. Ankara Resim ve Heykel Müzesi, 2. 04. 1980’de Cumhurbaşkanı Fahri Korutürk ve eşi Emel Korutürk, Türk Ocağı Binası’nın mimarı Arif Hikmet Koyunoğlu’nun de katıldığı bir törenle, 250 eserden oluşan bir sergi ile açıldı. Kronolojik olarak düzenlenen sergi, birinci katı kapsayan 14 galeriden oluştu. İstanbul Resim ve Heykel Müzesi teşhiri örnek alınarak düzenlenen müzede, erken dönem Osmanlı resminden çağdaş döneme kadar uzanan bir Türk modern sanatı panoraması çıkarıldı.

Müze, 1985 yılında, renovasyonun tamamlanması amacıyla kapandı. 2011 yılına kadar, aralıklı olarak açık kaldı. Kültür ve Turizm Bakanlığı’nın yürüttüğü çalışmalarla, 13. 07. 2011 tarihinde yeniden halka açıldı. Kültür ve Turizm Bakanlığı’na bağlı olarak faaliyet gösteren müzede 99 sanatçının 1.289 yapıtı bulunmaktadır. Eserlerde, 890 resim , 211 heykel, 118 baskı, 54 seramik, 16 Türk süsleme sanatları üzere bir dağılım vardır. Bu yapıtların 250 kadarı teşhir salonlarında sergilenmektedir. Bağış yoluyla eser kabul edildiği gibi, ağırlıklı olarak Devlet Resim ve Heykel Sergilerinde ödül kazanan yapıtlara yer verilmektedir. Yapıtlar bir seçici kurul tarafından seçilip değerlendirilmektedir.