Le palais tel que nous le voyons aujourd'hui fut construit principalement par l'évêque Gower (1328-1347). L'enceinte est un peu antérieure. Il se compose d'une cour bordée sur trois côtés de longs bâtiments et sur le quatrième d'un mur percé d'une porte à arcs-boutants. Le bâtiment comprenant la salle de l'évêque, la cuisine, la chapelle et la pièce des femmes était probablement la résidence principale. La grande salle qui se trouve au sud servait sans doute à accueillir les hôtes importants.