Палац Вергара, площею 3000 кв. м був побудований в 1910 році за проектом архітектора Етторе Вергара Петрі Сантіні на місці родинного маєтку, зруйнованого страшним землетрусом 16 серпня 1906 року. Цей палац є сімейним будинком Хосе Франсіско Вергара, який заснував Вінья-дель-Мар. Прототипом палацу стала італійська вілла в стилі венеціанської готики.

У цьому палаці жила дочка Хосе Франсіско Вергара Этчеверс - Бланка Эрразуриз Вергара Альварес. Донья Бланка була одружена Гільєрмо Эрразуризом і мала п'ятьох дітей: Х'ю, Вільяма, Уайта, Мануелю і Амалію. Донья Бланка Эрразуриз Вергара Альварес спеціально запрошувала в свій будинок найвідоміших людей того часу і брала їх на першому поверсі палацу в залах, де в даний час знаходиться музей. Велика частина меблів різних стилів була куплена в Європі.

Згодом багато нещасть випало на долю родини Вергара. Донья Бланка провела останні роки свого життя в одній з частин палацу Вергара, в повній самоті. Вона передала 60 творів видатних європейських художників в колекцію музею, що відкрився в палаці.

Останньою людиною, який жив у палаці Вергара, була Амалія Эрразуриз Вергара, яка померла незабаром після того, як парк і палац Вергара стали власністю муніципалітету, а палац Вергара став Музеєм образотворчих мистецтв (1941 рік).

При палаці розбиті красиві галявини і сади з екзотичними рослинами, привезеними з Азії, Австралії і Каліфорнії. Перший поверх палацу займає Музей образотворчих мистецтв, а на верхніх поверхах тепер проводяться тематичні семінари, виступи гостей філармонії, працює Школа витончених мистецтв.

Біля входу в парк можна побачити скульптури, в тому числі бюст Габріелли Містраль - відомої чилійської поетеси, дипломата і педагога, одного з провідних фігур в чилійській літературі і першою жінкою в Латинській Америці, удостоєний Нобелівської премією. Бюст був подарований музею скульптором Ніною Анжуита.