Avignon je postao rezidencijom Papa 1309. godine kada je Gascon Bertrand de Goth, kao Papa Klement V., odlučio izbjeći tada nasilni i kaotični Rim po svom imenovanju (1305.), te premjestio kuriju u Avignon, započevši razdoblje poznato kao Avignonsko papinstvo. 

Klement je živio kao gost u dominikanskom samostanu u Avignonu, a njegov nasljednik, Papa Ivan XXII. započeo je u samostanu graditi veličanstveni dvor od stare biskupske (episkopske) palače (Rocher des Doms ) koja se nalazila na prirodnoj stijeni koja gleda na rijeku Rhônu. 

Papa Benedikt XII. (1334.-42.) i njegovi nasljednici, sve do 1364. godine, nastavili su nadograđivati kompleks u dvije faze, Palais Vieux (Stara palača) i Palais Neuf (Nova palača). Kada je bila gotova, palača se prostirala na 11,000 m² (2.6 hetara) i na nju je utrošena većina papinskih prihoda za njihova pontifikata.

Palais Vieux je projektirao arhitekt Pierre Poisson iz Mirepoixa koji je vanjski dio benediktinske biskupske palače dao srušiti i na njenom mjestu podići mnogo veću i iznimno utvrđenu građevinu sa središnjim klaustrom i visokim tornjevima na sva četiri kraja. Benedikt XII. je dao 1335. godine izgraditi utvrdu (donjon) izvan palače, nazvan "Anđeoski toranj" koji je bio zaštićen ramparts spojenih sa osobnim prostorijama papa, te Veliku kapelu, paralelnu s katedralom.

Za papa Klementa VI., Inocenta VI. i Urbana V., građevina je proširena u današnju Palais Neuf. Za Klementa VI. Jean de Louvres je izgradio novi toranj i dodao nove zgrade, uključujući 52 m dugu Veliku kapelu (Grand Chapel) koja je bila mjesto molitve za pape. Za Innocenta VI. Dovršena su još dva tornja, a za Urbana V. dovršeno je glavno dvorište (poznato kao Court d'Honneur) s građevinama koje ga zatvaraju. Interijer je bogato ukrašen freskama, tapiserijama, slikama, skulpturama i izrezbarenim drvenim stropovima.

Papinska palača s istoka s tornjevima:
1- "tour de Trouillas"
2- Zahodski toranj ("tour des Latrines") ili Toranj ogledala ("de la Glacière")
3- Kuhinjski toranj ("tour des Cuisines")
4- Toranj sv. Ivana ("tour Saint-Jean")
5- "tour de l'Étude"
6- "tour des Anges" ili Papinski toranj ("tour du pape")
7- Vrtni toranj ("tour du Jardin")
8- Toranj garderobe ("tour de la Garde-Robe")
9- Toranj sv. Lovre ("tour Saint-Laurent")
10- "tour de la Gache" (derrière)
11- Anđeoski toranj ("tour d'angle") ili "tour des Grands Dignitaires" (under)
12- "tour de la Campane"

Pape su napustili Avignon 1377. godine i vratili se u Rim, što je potaklo tzv. Papinski šizmu tijekom koje su antipape Klement VII. i Benedikt XIII. vladali iz Avignona do 1408. godine. Ovaj posljednji je bio i zatočen u palači 10 godina nakon opsade koju je 1398. godine vodio Geoffrey Boucicaut. Palača je još neko vrijeme bila u posjedu antipapa, a opsjedana je od 1410. do 1411. godine, da bi došla u posjed papa tek 1433. godine.

Iako je palača bila u posjedu papa (zajedno s okolnim dijelom grada i Comtat Venaissin), u sljedećih 350 godina postupno je propadala (unatoč obnovi 1516. godine). U vrijeme Francuske revolucije, kad su je zauzeli revolucionari, već je bila u ruševnom stanju. Godine 1791. bila je poprištem masakra kontra-revolucionara čija su tijela bačena u Zahodski toranj (Tour des Latrines) u Staroj palači.

Palaču su povremeno koristili Napoleonovi vojnici kao vojnu baraku i zatvor, te je još dodatno sradala od vojnika, a osobito za vrijeme anti-svećeničke Treće republike, kada je drvenarija interijera uzeta za izgradnju štala, a freske većinom prekrivene ili uništene (čime su ih ironično sačuvali). Ispražnjena je tek 1906. godine, kada je postala državnim muzejom i od tada je u stalnoj obnovi.

Većina palače je danas otvoreno javnosti (22 sobe, uključujući privatne prostorije papa i mjesta povijesnih događaja), a u njoj se nalazi konferencijska dvorana i arhiv francuskog departmana Vaucluse.