Малий палац був побудований в 1317 році. Він знаходиться в північній частині площі, навпроти Папської резиденції, і названий так саме із-за своїх скромних розмірів і значення, порівняно з палацом римських пап.

Історія його появи туманна: за однією версією – він був побудований для племінника папи Іоанна XXII, Арно де Віа, за іншою - він був побудований кардиналом Беренжером Ф. Старшим. Після його смерті палац і прилегла територія були викуплені кардиналом Арно де Віа. У 1335 році Де Віа помер і палац нікому не належав аж до приходу папи Бенедикта XII, який знову викупив його і перетворив на офіційну резиденцію авіньйонського архієпископа.

Будівля сильно постраждало в період з 1396 по 1411 рр., оскільки вважалося укріпленої цитаделлю авіньонських пап. Після закінчення військових дій палац поступово прийшов у занепад. У другій половині XV століття єпископ Алан де Котиви і його послідовник Джуліано делла Ровере (який згодом стане Папою Юлієм II) вирішили відновити будівлю і до 1503 році надали йому майже первозданний вигляд. Делла Ровере прибув в Авіньйон в 1474 р., так як він був призначений своїм дядьком, Папою Сикстом IV, єпископом авиньонским. Він добудував південний і західний фасади в стилі італійського ренесансу і в 1487 р. звів вежу (пізніше, в 1767 році вона була зруйнована).

Під час французької революції палац став власністю держави, в XIX столітті в ньому перебувала католицька школа, а пізніше професійне училище. Тільки в кінці XX століття на території палацу було відкрито музей.

З 1958 року тут знаходиться Музей Середньовіччя. У 1976 році тут була відкрита художня галерея робіт майстрів епохи Відродження. У 19 залах музею виставлені, зокрема, роботи Сандро Боттічеллі, Таддео Геді, Таддео ді Бартоло, Лоренцо Монако, в тому числі тут знаходиться знаменита «Мадонна» Боттічеллі.