Ils sont les vestiges d'un fort du 14e s. destiné à barrer l'éperon rocheux et à protéger le sanctuaire. Adossée à ce fort, la demeure des chapelains de Rocamadour a été construite au 19e s.