Galeri Seni terletak di taman Joubert, beberapa blok dari stesen kereta api utama di Johannesburg ini. Bangunan ini telah direka oleh arkitek British Sir Edwin Lachensom dan terdiri daripada 15 dewan pameran, serta kawasan pameran beberapa di udara terbuka kepada patung besar. Arkib beliau adalah koleksi lukisan British dan Belanda abad XVIII-XIX, koleksi lukisan Eropah abad XIX, dan juga koleksi besar karya sezaman dengan Afrika Selatan dan artis antarabangsa.

Pengumpul Dorothea Sarah Alexander Florence Phillips, isteri hartawan perlombongan Lionel Phillips membentuk koleksi pertama galeri mengorbankan dana yang disumbangkan oleh suaminya. Selepas berpindah ke Johannesburg, dia mula mengambil gambar dengan tujuan untuk mewujudkan sebuah galeri seni, yang kemudian menjadi Galeri Seni Johannesburg. Ia memperoleh koleksi lukisan oleh artis British dan pengumpul Sir Hugh Lane, dipamerkan di London pada tahun 1910. Lady Phillips menderma koleksi renda dan memujuk suaminya untuk menyampaikan kepada galeri tujuh lukisan dan ukiran oleh Rodin.

Pengumpulan galeri termasuk kerja-kerja oleh Auguste Rodin, Dante Gabriel Rossetti, Pablo Picasso, Camille Pissarro, Claude Monet, Edgar Degas, Herbert Ward dan Henry Moore, serta kerja-kerja artis Afrika Selatan - Gerard Sekot Walter Battissa, Alexis Preller, Maud Sumner, Sydney Kumalo dan lain-lain.

Galeri Seni Johannesburg telah dibuka kepada orang ramai pada tahun 1910 di kampus di Universiti Witwatersrand. Arkitek, Sir Edwin Lachens dijemput Lady Phillips, datang ke Afrika Selatan pada tahun 1910 untuk meneroka kawasan tersebut dan memulakan pembinaan bangunan galeri. Tetapi bangunan itu tidak selesai mengikut lakaran arkitek. Lima tahun kemudian, dengan permulaan pembinaan, bangunan itu dibuka kepada orang ramai tanpa majlis, hanya selepas Perang Dunia Pertama.

Pada akhir tahun 1940-an, bangunan galeri telah dilanjutkan mengikut reka bentuk arkitek Lachensa - barat dibina dan sayap timur bangunan. Sayap utara galeri dengan bahagian hadapan bangunan moden dibina semasa pengubahsuaian terakhir bangunan dalam tahun 1986-1987.