Dominant la rivière St-Charles, la partie nord des fortifications fut longtemps négligée, la falaise constituant une défense naturelle suffisante. L'invasion américaine de 1775-1776 incita à terminer l'enceinte de la Haute-Ville. Dans le jardin du monastère, à côté du portail d'entrée, on remarquera l'ancienne poudrière. Celle-ci avait été construite en 1820 pour alimenter les batteries de canons de nord de la ville.