Музей витончених мистецтв у Анже розташований в декількох сотнях метрів від двох головних визначних пам'яток міста – Анжерского замку і собору Сен-Моріс. І зовсім поруч з галереєю імені скульптора і медальєра Давида Анжерского – ці будівлі утворюють музейний квартал, в який також входять бібліотека і приміщення університету.

Музей витончених мистецтв розмістився в стінах особняка кінця XV століття, який був побудований мером Анжу і скарбником Бретані Олів'є Барро в стилі французького Відродження. Стіни цього особняка бачили багатьох знаменитих особистостей, які залишили свій слід в історії Франції – наприклад, короля Людовика XII, Цезаря Борджіа і Марію Медічі, чиєю власністю він був. У 1673 році будівлю придбала католицька церква і після значної перебудови розмістила в ньому семінарію.

У часи Великої Французької революції в особняку була відкрита центральна школа, але вона проіснувала недовго – всього два роки, з 1801 по 1803. Створений при школі музей продовжив свою роботу і навіть через два роки з відкриттям залу природознавства розширив свою експозицію. В 1839 році в одній із приміщенні колишньої семінарії відкрилася галерея Давіда д'анже, яка в 1984 році переїхала в будівлю відреставрованої церкви Всіх Святих.

У середині XIX століття музей став володарем справжнього скарбу отриманої за заповітом колекції Ланселота Теодора Тюрпен де Криссе, що включала предмети єгипетського, давньоримського і давньогрецького походження, фаянсові вироби і картини відомого живописця Жана Огюста Домініка Енгра. Ще одне масштабне поповнення музейного зібрання відбулося в 2003 році, коли за заповітом Даніеля Дюкло до музею перейшов замок Вильевек, став філією музею, і майже тисяча творів мистецтва.

В кінці минулого і початку нинішнього століття в музеї була проведена ретельна реконструкція, і сьогодні він є одним з найбільших музеїв Франції, розташованих в провінції. Його площа становить близько семи гектарів.