Le château ne comporte plus aujourd'hui qu'une grande salle qui faisait autrefois partie d'un manoir fortifié, construit au 12e s. pour Walkelin de Ferrers. Plus de 200 fers à cheval de toutes tailles recouvrent les murs de cette salle, l'un des plus beaux exemples d'architecture domestique normande. Le fer à cheval figurait dans les armoiries des Ferrers et le châtelain en demandait toujours un en dédommagement à chaque pair du royaume ou membre de la noblesse qui traverse ses terres.