Près du clocher, au pied du rocher qui domine l'abbaye, des fouilles ont mis au jour les soubassements des édifices qui, dès le 4e s., ont précédé l'église actuelle et dont le plan apparaît nettement. Il est possible de visiter les « catacombes », étroites galeries de souterrains conduisant aux cryptes et au tombeau de saint Maurice.