Головна будівля палацу Королівської академії витончених мистецтв Сан-Фернандо розташований на одній з центральних вулиць Мадрида. Ця будівля була зведена в стилі бароко в 1689 році за проектом знаменитого іспанського архітектора Хосе Беніто де Чуррігера. У 1774 році архітектор Дієго де Вийянуэва вніс невеликі зміни у фасаді будинку, прибравши деякі декоративні елементи в стилі бароко.

12 квітня 1752 року згідно з указом короля Фердинанда VI в цьому будинку була заснована Художня академія, яка спочатку називалася «Королівська академія трьох шляхетних мистецтв імені святого Фердинанда». Протягом тривалого часу тут викладалися архітектура, живопис та скульптура. З 1873 року в академії почали викладати музику, і вона була перейменована в Королівську академію витончених мистецтв Сан-Фернандо. З 1987 року в Академії відкрилися відділення фотографії, кінематографії, телебачення. Тут також розташована штаб-квартира Мадридської академії мистецтв.

При Академії відкрито художній музей, в якому виставлено велику кількість видатних творів мистецтва. Тут можна побачити роботи Франческо Гойї, Рубенса, Хуана де Сурбарана, Вісенте Лопеса Портана, Серано, Арчімбольдо, Пікассо, Далі. Також тут є експозиція скульптур, здебільшого відносяться до 18 століття.

За історію свого існування Королівська академія побувала під керівництвом різних діячів мистецтва, у числі яких Ф. Гойя, серед її випускників також чимало відомих імен – Пабло Пікассо, Антоніо Лопес Гарсія, Сальвадор Далі та інші.