L'imposant corps de garde qui domine l'entrée au sommet de la colline fut construit vers 1407-1413, sur l'initiative d'Henri IV, fils de Jean de Gand, duc de Lancaster. Une grande partie de ce qui restait du château médiéval, notamment le grand donjon et la tour d'Hadrien, fut incorporée à l'ensemble des nombreux ajouts effectués à la fin du 18e s. L'étonnante Shire Hall, de style néogothique, abrite un remarquable plafond de pierre sculptée et une collection de blasons.