Petit Palais dibina pada tahun 1317. Ia terletak di bahagian utara dataran, di hadapan kediaman negeri Paus, dan dinamakan sedemikian kerana saiz sederhana dan nilai berbanding dengan Istana Paus.

Kisah kemunculannya kabur: menurut satu versi - ia dibina untuk anak saudara Pope John XXII, Arnaud de Via, di pihak yang lain - ia dibina oleh Cardinal Bérengère F. Elder. Selepas kematiannya, istana dan alasan yang telah dibeli oleh Cardinal Arnaud de Via. Pada tahun 1335 Via De mati dan istana milik tidak sehingga ketibaan Paus Benedict XII, yang membeli lagi dan bertukar menjadi kediaman rasmi Ketua Biskop Avignon.

Bangunan ini telah rosak teruk dalam tempoh dari 1396 dengan 1411. Oleh kerana ia dianggap sebagai kubu kuat paus Avignon diperkaya. Selepas berakhirnya permusuhan, istana secara beransur-ansur jatuh ke rosak. Pada separuh kedua abad ke-XV, Bishop Alain de Kotivi dan penggantinya Giuliano della Rovere (yang kemudiannya menjadi Paus Julius II) memutuskan untuk memulihkan bangunan dan di 1503 memberinya bentuk hampir purba. Della Rovere tiba di Avignon dalam 1474, kerana beliau telah dilantik oleh bapa saudaranya, Paus Sixtus IV, biskop Avignon. Tambahnya ke facades selatan dan barat dalam gaya Renaissance Itali dan di 1487 didirikan sebuah menara (kemudian, pada tahun 1767 ia telah dimusnahkan).

Semasa Revolusi Perancis, istana menjadi harta negeri ini, pada abad XIX ia adalah sebuah sekolah Katolik dan kemudian sebuah sekolah vokasional. Hanya pada akhir abad XX di wilayah istana telah muzium.

Sejak tahun 1958, ia menempatkan Muzium Zaman Pertengahan. Pada tahun 1976 terdapat dibuka sebuah galeri seni karya tuan Renaissance. 19 bilik muzium, khususnya, kerja-kerja Sandro Botticelli, Taddeo Gaddi, Taddeo di Bartolo, Lorenzo Monaco, termasuk di sini adalah yang terkenal "Madonna" Botticelli.