La promenade des Fossés suit les anciens remparts qui ceinturaient la ville au Moyen Âge et que jalonnent sept tours rondes. La porte Neuve (14e-16e s.) est flanquée de deux tours à bossages et mâchicoulis. De la porte Ste-Croix, un chemin descend à la Cordelle, qui garde le souvenir de saint Bernard venu prêcher la deuxième croisade, par une croix commémorative. La promenade aboutit à la terrasse du château derrière la basilique.