La construction du fort fut engagée en 1481 par les marchands de Dartmouth, désireux de protéger leurs habitations, ainsi que le mouillage en eau profonde. Modifié et agrandi aux 16e et 18e s., il offre une vue superbe sur la mer et l'estuaire. C'est le premier château anglais dont le système défensif donnait la priorité à l'utilisation de l'artillerie. Depuis le château, le sentier côtier South Devon Coast Path offre de belles promenades le long de la falaise.