Ce palais fut entrepris en 1254 ou 1265 par Durand de Beaucaire. Bernard de Castanet en fit une forteresse, munie d'un donjon massif, que l'on peut apprécier depuis la rivière. Mais, petit à petit, la forteresse reçut quelques agréments (le chemin de ronde, par exemple, est devenu une agréable promenade ombragée) et devint un véritable palais qui abrite depuis 1922 le musée Toulouse-Lautrec.