Commencé à la fin du 11e s., c'est ici que fut fondé en 1689 le fameux régiment des Royal Welsh Fusiliers, peu avant que le lieu soit abandonné. Cette longue histoire explique la variété des styles architecturaux, allant de l'époque normande au style Tudor. La chapelle est l'une des cinq chapelles britanniques à présenter un plan circulaire.