La tour Clifford fut élevée au 13e s. par Henri III pour remplacer le fort en bois de Guillaume le Conquérant, incendié en 1190 par la population qui assiégeait les Juifs qui s'y étaient réfugiés. Autrefois occupée par un habitacle de deux étages, détruit au 17e s., la cour intérieure est désormais vide. De grands travaux de rénovation sont actuellement en cours et un nouveau Visitor Centre devrait voir le jour dans les années à venir.