Серед численних будівель Таганрога особливо виділяється своєю красою палац Алфераки з величезним залом з золоченими стелями, хорами для музикантів, величезними унікальними люстрами. Зовні будівля привертає погляди своїм незвичайно гарним і багатим архітектурним декором, важкими ліпними прикрасами в стилі бароко, високими центральними колонами, різко окресленим портиком, на якому до революції був розміщений родовий герб Хандриных.

Дворей Алфераки був побудований у 1848 році за проектом відомого архітектора Петербурга А. В. Штакеншнайдера, визнаного в той час авторитету у палацовій архітектурі, за замовленням одного з найбагатших поміщиків Таганрога, домовласника, Миколи Дмитровича Алфераки.

Сім'я Алфераки ставилася до численної грецькій діаспорі півдня Росії, основна частина яке оселилася на Чорноморському і Азовському узбережжях під час правління імператриці Катерини Великої. Першим на таганрогскую землю прибув після закінчення російсько–турецької війни 1768-1774 років Дмитро Ілліч Алфераки. Йому, як офіцерові було виділено маєток Приазов'ї, назване на честь його рідного села Лакодемоновкой.

Сім'я закінчила будівництво особняка в 1848 році. Пізніше до будинку був прибудований величний зал майже 9-метрової висоти, прикрашений каміном, картинами, масивними годинами, мармуровими скульптурами. Побудований особняк по пишності внутрішньої і зовнішньої обробки і художнього розпису дійсно являв собою палац. Сім'я щасливо прожила в особняку близько 30 років. Князь М. Р. Голіцин після перебування в Таганрозі в 1857 році особливо зазначив в журналі «Бібліотека для читання» багатство і мистецьку витонченість будинку Алфераки.

У головному двоповерховому будинку на правах господаря проживав поміщик Микола Дмитрович Алфераки, а у великому флігелі – сини старшого Алфераки – Микола, Сергій, Михайло і Ахіллес. Вони не стали продовжувачами торгового справи батька: Ахіллес став композитором, Микола – відомим мандрівником. Не дивно, що після смерті батька Н.Д. Алфераки, марнотратний спосіб життя дітей привів маєток в занепад. У 70-х роках домоволодіння розрослося на весь квартал і перейшло у власність купця Негропонте, який розпродав його по частинах. Палац і сад викупило товариство купців для «Комерційного зборів» - так називався їх клуб. В залі клубу часто влаштовувалися концерти за участю знаменитостей того часу. Тодішнє життя клубу з неминучими картковими іграми яскраво описав А. П. Чехів після перебування в Таганрозі в оповіданнях «Іонич», «Маска», «Моє життя».

Після революції 1917 року в будинку містилися різні установи, а з 1927 року воно було передано краєзнавчому музею, заснованого в Таганрозі А. П. Чеховим. Існував на мізерні кошти музей потребував капітального ремонту, і його почали в 1966 році. А завершили ремонт до листопада 1971 року, перетворивши його таким чином, що з стелі зникла художня ліпнина і розпис на біблійні теми, в запасники прибрали дзеркала і скульптури - мінімалізм не повинен відволікати від основної експозиції.

У період 1989-1996 років у Палаці провели реставраційні роботи, які дозволили багато в чому відновити колишню велич і архітектурний блиск будівлі, в особливості, знаменитого двоярусного залу, де сьогодні проходять виставки, концерти, відзначаються знаменні дати в історії міста, проходять урочисті одруження. З 1995 року відкрита нині діюча експозиція, повернулася традиція проведення концертів та виставок, музей знову став центром культурного життя Таганрога.