En 1679, alors qu'il commandait les travaux de fortification de la place de Villefranche, Vauban jugea bon de protéger celle-ci en élevant un fort sur la montagne. Ce dernier fut remanié au 19e s. et doté d'un escalier dit des « mille marches » (734 en réalité) en marbre rose du Conflent, qui relie l'ouvrage à la ville. La fortification, composée de trois enceintes établies l'une au-dessus de l'autre pour épouser la pente du terrain, servit de prison sous Louis XIV dans l'affaire des Poisons.