Картинна галерея, розташована в Таганрозі на вулиці Олександрівській, була заснована в 1898 р. Ідея створення цього музею належала письменнику Антону Павловичу Чехову. Саме він першим висловив думку про те, що Таганрогу необхідний музей, в якому були б зібрані предмети старовини і творами мистецтва. На прохання письменника та сприяння В. Е. Рєпіна Рада Академії мистецтв у 1902 р. передав міському музею вісім картин, написаних російськими живописцями.

У 1930 р. музей перейменували в Краєзнавчий. У тому ж році установі надали нове приміщення. У 1968 р. художню колекцію краєзнавчого музею виділили в самостійний музей під назвою Таганрозька картинна галерея. У 1976 р. галерея розгорнула експозицію в прекрасному особняку А. З. Хандрина, що є пам'ятником архітектури. Особняк був побудований в 1870 р. Автором проекту виступив архітектор Тенишев. Хандрину особняк належав з 1898 р. і до революційних часів.

У 2003 р. картинну галерею перейменували в Таганрозький художній музей. У 2005 р. музею було передано в дар від родини Ст. Иляхинского більше 30 робіт цього американського художника, який народився в Таганрозі. У 2011 р. адміністрація міста ухвалила рішення передати художньому музею частина будівлі, що раніше належить одному з відділень Південно-Західного банку Ощадбанку Росії.

На сьогоднішній день у фондах таганрозького художнього музею налічується близько 7 тис. експонатів живопису, скульптури, графіки, іконопису та декоративно-прикладного мистецтва. Серед цього зібрання найціннішими є картини російських художників XVIII-XX ст.