Cette résidence de 15 000 m2 se compose du Palais Vieux et du Palais Neuf. Le premier, forteresse d'architecture austère, fut commandé par Benoît XII en 1334. Clément VI, grand prince d'Église, artiste et prodigue, dut trouver le nid bien sévère : il demanda en 1342 à Jean de Louvres, le Palais Neuf. La tour de la Garde-Robe et deux nouveaux corps de bâtiments fermèrent la cour d'honneur, jusqu'alors place publique. Si l'aspect extérieur ne changeait guère, l'intérieur fut somptueusement décoré par une équipe d'artistes, dirigée par Simone Martini puis par Matteo Giovannetti.