La tradition fait remonter sa fondation à Charlemagne, qui y déposa les reliques de saint Sicaire, l’un des saints Innocents de Bethléem tués sur ordre du roi Hérode. L’abbaye bénédictine de Brantôme devint un lieu de pèlerinage très fréquenté. Saccagée par les Normands en 849, elle fut reconstruite à partir de 1075. Au 16e s., elle eut comme abbé Pierre de Mareuil – qui édifia les bâtiments les plus intéressants –, puis son neveu Pierre de Bourdeille, dit Brantôme. Bertin, intendant du Périgord au 18e s., procéda à d’autres modifications avant une restauration radicale au 19e s.