Sur les ruines d'un fort romain fut élevé un château fort (12e s.) au fier donjon. À la fin du 19e s., son propriétaire, le 3e marquis de Bute (1847-1900), qu'on tenait à l'époque pour l'homme le plus riche d'Angleterre, passa commande de travaux à l'architecte William Burges. Celui-ci laissa libre cours à son imagination et réalisa une extraordinaire série d'intérieurs exotiques.