Порівняно невелика одноповерхова будівля з підвалом в Таганрозі за архітектурної складності і за розмірами ніяк не зарахуєш до розряду палацових будівель. Але в розумінні місцевих жителів і приїжджих туристів воно однозначно має меморіальний статус, так як володіє всіма його ознаками є пам'ятник, є історична особистість, є історична подія.
Знаходиться палац по вулиці Грецькій і по архітектурному стилю відноситься до провінційному класицизму початку ХІХ століття. Як свідчать архівні документи, в 1811 році ділянку з старим будинком на вулиці Грецькій придбав Семен Миколаїв – сотник війська російського. Стара будівля він зніс, а на його місці поставив одноповерховий витягнутий будинок з підвалом, призначений для здачі приїжджим. Пізніше будинок опинився у власності градоначальника Таганрога генерал-майора Папкова Петра Опанасовича, який, зробивши косметичний ремонт, зміг вигідно продати його міському будівельному комітету за величезну по тим часам ціну - 52 тисячі рублів.
Враховуючи, що майже полутораэтажное будівля з п'ятнадцятьма кімнатами мала ще й необхідні підсобні приміщення: флігель, погреби, стайню, комори, каретний сарай, його вирішено було використовувати в якості резиденції для приїжджаючих високопоставлених осіб.
На початку ХІХ століття південь Росії придбав популярність серед придворних осіб. У 1816 році тут проїздом зупинявся майбутній імператор Микола I, через рік у 1817 році молодший з чотирьох братів Романових - Михайло Павлович, в 1820 році - герой Вітчизняної війни 1812 року, генерал Раєвський. Але найбільш пам'ятний візит відбувся двома роками раніше, коли в 1818 році, проїздом з Малоросії (нині Україна) сюди прибув імператор Олександр I. Весна в Таганрозі імператору дуже сподобалася, і це не могли не помітити придворні. Але візит був дуже короткочасним і на долю будинку не вплинув. А ось другий приїзд Олександра I відбився на долі будівлі позитивно: для більш ретельної підготовки візиту і організації гідного перебування імператорської сім'ї, ремонтом будівлі і підготовкою займався придворний архітектор Шарлеман. Він навів будівлю у належний вигляд і подбав про більш розкішному інтер'єрі, адже імператор приїжджав на тривалий період з хворобливою дружиною.
Відразу по приїзду Олександр з почтом зупинився тут, зайнявши дві кімнати, а решту з кінця вересня розмістилася імператриця з фрейліною Валуевой і княжною Волконської. На витрачені на ремонт 25 тисяч рублів Шарлеман облаштував зал для прийомів, похідну церкву і гардеробну в цокольному поверсі. У імператора були великі плани з добудови і розвитку цього місця, створенні саду, зведення другого поверху, але його планам не судилося статися. Піддавшись на умовляння губернатора Новоросії графа Воронцова, він відвідав його маєток у Криму і на початку листопада повернувся в Таганрог абсолютно хворим. Через два тижні він помер, будучи в цій резиденції.
У лютому 1826 року градоначальник Таганрога отримав повідомлення з імператорського двору про те, що Єлизавета Олексіївна, дружина покійного імператора хоче придбати будинок в пам'ять про чоловіка. Була складена опис майна, залишеного в «будинку імператриці в Таганрозі», вся планування повинна була залишатися без змін, перетворившись в експозицію, нагадуючи про перебування тут імператора. Так в Таганрозі виник музей пам'яті Олександра I – перший музей меморіального типу в Росії. Біля воріт музею стояв охоронець, будівля підтримували за рахунок коштів імператорського двору.
У 1837 році палац відвідав майбутній спадкоємець престолу Олександр II зі своїм наставником Жуковським, а в 1870 – його син, майбутній імператор Олександр III, у 1872 році – повторно Олександр II, вже будучи на престолі з імператрицею Марією Олександрівною і великими князями Сергієм і Павлом Александровичами. Життя палацу користувалася увагою приїжджих і місцевих жителів. Кожен відвідувач повинен був розписатися в книзі відвідувачів палацу, серед них є імена багатьох знаменитих письменників, художників, державних діячів: В. А. Жуковський, В. К. Айвазовський, Єсенін С. А. А. А. Дуров, нарком освіти А. В. Луначарський, всього зібрано 40 томів книги відгуків! Інтер'єр палацу практично не змінювався протягом ста років.
Будинок-музей був під імператорським заступництвом до революції 1917 року, а після в його історії розпочався новий складний етап. У 1930 році завідуючим міським музеєм був призначений латиський стрілець Отто Лапін, протягом декількох місяців він знищив колишній музей Олександра I, меблі та цінності палацової церкви були розпродані, меморіальні кімнати перетворив на комунальні квартири. Матеріали, що зберігалися тут з 1825 року були втрачені. Після 1960 року в будівлі розміщувався дитячий протитуберкульозний санаторій, пізніше – нефрологічний санаторій.
З 2009 року розпочався новий етап в історії палацу – почалася його реконструкція і відродження статус меморіального музею, що нагадує нам про особу Олександра I.