Irrégulières et rouges, les ruines qui dominent le port sont les seuls vestiges de l'un des châteaux forts les plus importants de l'époque médiévale, sur le plan stratégique. La forteresse subit de multiples assauts, et l'épisode le plus marquant de son histoire est incontestablement l'ardente défense que soutint en 1339 « Black Agnes », comtesse de March et de Dunbar, contre les troupes anglaises conduites par Salisbury. Le Parlement écossais ordonna sa démolition en 1567.