Le château en grès domine la ville depuis la butte sur laquelle se dressait une fortification dès l'époque saxonne. Sa construction fut entreprise par le baron normand Guillaume de Mohun. Lorsque George Fownes Luttrell hérita de la propriété, en 1867, il chargea l'architecte Anthony Salvin de transformer le château et d'en faire un manoir fortifié bâti dans le style de l'époque de Jacques Ier.