Палацо Пфаннер було побудовано у другій половині 17-го століття і належало сімейству Морикони, членам купецької знаті Лукки. Після банкрутства родини, палац був проданий іншим знатним купцям, Контрони, які займалися торгівлею шовком. Контрони розширили будинок, добудувавши до нього монументальні сходи, ймовірно, за проектом місцевого архітектора Доменіко Мартінеллі. На початку 18-го століття вони доручили Філіппо Юварра зайнятися пристроєм саду за палацом, а для розписи склепінь Палаццо і сходи були запрошені місцеві художники. Саме в цьому будинку Контрони брали данського принца Фредеріка під час його великої подорожі по Італії.

Приблизно в середині 19-го століття власниками старовинного палацу стало сімейство Пфаннер — саме Фелікс Пфаннер, австрійський бровар, придбав палац після заснування першої в Лукка і однією з перших в Італії пивоварень. Пивоварня, розташована в симпатичному будинку між садом і приміщеннями Палаццо, була закрита в 1929 році.

Палаццо все ще є власністю сімейства Пфаннер, яке в кінці 20-го століття провело реконструкцію будівлі і відкрила його для публіки. Завдяки своїй чарівною архітектурою, Палаццо кілька раз ставало місцем зйомок фільмів, в тому числі тут знімався ряд сцен фільму «Портрет леді» з Ніколь Кідман і Джоном Малковичем у головних ролях.

Бароковий сад Палацо Пфаннер також привертає увагу численних відвідувачів своїми галявинами, яскравими квітами, деревами і лимонами в глиняних горщиках, що стоять уздовж ряду статуй, що зображують грецьких олімпійців і пори року. На перетині двох центральних стежок саду встановлено восьмикутний фонтан, а елегантний лимонарий з двома левами і василисками на даху — емблемою сімейства Контрони - прикрашає ту частину саду, де росте самшит, лавр, два стародавніх бамбука, тиси, сосни, магнолії і троянди.

Туристи можуть оглянути лише невелику частину Палацо Пфаннер, де розташовані величезний зал прийомів, прикрашений фресками 18-го століття, і кілька бічних кімнат з предметами старовинних меблів і дерев'яною статуєю Архангела Михаїла 14-го століття.

В Палаццо працює виставка хірургічних інструментів і старовинних медичних трактатів, зібраних П'єтро Пфаннером, хірургом, філантропом і мером Лукки з 1920 по 1922 роки.