Succédant à des ermites qui avaient christianisé la « fontaine du Rocher », les moines occupèrent dans un premier temps les grottes de la falaise qu'ils aménagèrent, les utilisant comme dépendances ou refuges lorsque les bâtiments de l'abbaye subirent des destructions. Vous y verrez les vesiges du chauffoir, le lavoir, le pigeonnier, mais aussi la mystérieuse grotte du Jugement dernier et ses bas-reliefs, ou encore la fontaine miraculeuse du Rocher.