На місці теперішнього Музею Кальве раніше перебувала кардинальська резиденція - Ливре де Камбре, названа так на честь колись жив тут кардинала П'єра Д Айлі, єпископа де Камбре. У 1719 році будівлю було продано Франсуа-Рене де Вильневу, маркізу д Арзелье і сеньйору де Мартиньян.

У 1734 році його син Жак-Іґнас де Вільнев вирішив розширити свої володіння і побудувати новий палац. Будівництво було розпочато під керівництвом Томаса Лене, але потім його змінили архітектори Жан-Батист Франк і Франческо Франк. Будівельні роботи були закінчені тільки 1749 році. У 1802 особняк купив негоціант Делетр, який, у свою чергу здав будинок в оренду владі Авіньйона, щоб розмістити тут колекції Еспрі Кальве. 3 березня 1833 будівлю було викуплено муніципалітетом Авіньйона під музей. З 1 жовтня 1963 року міський особняк Вільнев-Мартиньян входить в список історичних пам'яток Франції.

Тут зберігається одна з найбільших колекцій живопису Франції. Збирати колекцію почав місцевий лікар (нумізмат, бібліофіл і археолог) Еспрі Кальве, а пізніше, у 1810 році, він заповів свої колекції і бібліотеки музею живопису. Експонатами музею є твори прикладного мистецтва, скульптури, фарфор, але особливо цікавий відділ живопису, що охоплює період з XVI по XX століття — від Луки Джордано Вазарі і до Давида, Коро, Мане, Сутіна і Боннара.

Тут, у міському особняку Вільнев-Мартиньян, до якого були прибудовані сучасні будівлі, знаходиться основна колекція. Бібліотека, зібрана Кальве і значна колекція з майже 12 000 монет і медалей були перевезені в інше місце міста.