Initialement connu sous le nom de Castle of Ruthven, ce château était le rendez-vous de chasse de la famille du même nom. Il s'y déroula, en 1582, le raid de Ruthven, un épisode de la lutte entre certains nobles et la royauté. Le château fut confisqué au 17e s. et octroyé à un favori du roi.