Résidence principale des comtes de Morton depuis 1642, le château fut abandonné au profit d'Aberdour House en 1725. Le château actuel se compose de la tour primitive du 14e s., dont la partie supérieure fut reconstruite au 15e s. Au Sud du château, les terrains étaient aménagés en terrasses, derrière lesquelles on trouvait un colombier et un verger.