Картинна галерея знаходиться в районі парку Жубер, в декількох кварталах від головної залізничної станції Йоганнесбурга. Будівля була спроектована британським архітектором сером Едвіном Лаченсом і складається з 15 виставкових залів, а також кількох виставкових територій під відкритим небом для великих скульптур. В його архівах знаходиться колекція британської та голландської живопису XVIII-XIX століть, колекція європейського живопису XIX століття, а також велика колекція сучасних робіт південно-африканських і зарубіжних художників.

Колекціонер Доротея Сара Флоренс Олександра Філліпс, дружина гірського магната Ліонеля Філліпса, сформувала першу колекцію галереї за рахунок коштів, внесених її чоловіком. Після переїзду в Йоганнесбург вона почала набувати картини з метою створення художньої галереї, яка згодом стала Художньою галереєю Йоганнесбурга. Вона придбала колекцію картин британського колекціонера і художника сера Х'ю Лейна, виставлену в Лондоні в 1910 році. Леді Філліпс пожертвувала свою колекцію мережив і вмовила свого чоловіка передати для галереї сім картин і скульптуру Родена.

Колекція галереї включає роботи Огюста Родена, Данте Габріеля Россетті, Пабло Пікассо, Каміля Піссарро, Клода Моне, Едгар Дега, Герберта Уорда і Генрі Мура, а також роботи південноафриканських художників - Джерарда Секото, Уолтера Баттисса, Алексіса Преллера, Мод Самнера, Сіднея Кумало та інших.

Картинна галерея Йоганнесбурга була відкрита для публіки в 1910 році на території університету Вітватерсранда. Архітектор, сер Едвін Лаченс, запрошений леді Філіпс, приїхав у Південну Африку в 1910 році, щоб дослідити територію і почати будівництво будівлі галереї. Але будівництво не було завершено за ескізами архітектора. Через п'ять років з початку будівельних робіт, будівля відкрило свої двері для публіки без церемоній, відразу після початку Першої світової війни.

В кінці 1940-х років будівля галереї було розширено у відповідності з дизайном архітектора Лаченса - побудовано західне і східне крило будівлі. Північне крило галереї з сучасним фасадом було побудовано під час останньої реконструкції будівлі в 1986-1987 році.