Le château est situé à l'extrême pointe de la montagne, surplombant la mer et la plaine. L'édifice a été élevé par les Normands mais le site était occupé depuis l'Antiquité. C'est en effet à cet endroit que se trouvait le temple de Vénus Érycine, déesse particulièrement vénérée. La forteresse est entourée de murs puissants, protégée par sa position naturelle et des tours en avancée, les tours du bailli.