Les jardins de la Fontaine ont été aménagés au 18e s. par J.-P. Mareschal, ingénieur militaire, au pied et sur les premières pentes du mont Cavalier, que surmonte la tour Magne. Il a été agencé selon le plan antique de la fontaine de Nemausus qui s'étale en miroir d'eau avant d'alimenter des bassins et le canal. À l'époque gallo-romaine, ce quartier comprenait les thermes, un théâtre et un temple, le temple de Diane, qui compose avec la végétation un tableau des plus romantiques.