La collégiale Notre-Dame était incluse dans l'enceinte fortifiée du château royal, qui s'élevait à l'emplacement de ce jardin public, situé derrière le chevet. Il fut détruit au 18e s. Au fond du square, une belle vue se dégage sur le chevet de la collégiale et sur la tour Saint-Maclou.