La ligne des remparts, construite à partir de 1345, barrait entièrement l'isthme du Lot. De ces fortifications subsistent quelques vestiges : une grosse tour, à l'ouest, abrite une poudrière et l'ancienne porte St-Michel sert d'entrée au cimetière. C'est à l'est que s'élèvent les deux plus belles constructions fortifiées : la barbacane, élégant corps de garde qui protégeait la porte de la Barre, et la tour St-Jean (ou tour des Pendus) bâtie sur un rocher dominant le Lot.