Les remparts datent des Maures et ont été en partie restaurés au 12e, 13e et 16e s. La partie nord, la plus élevée, est occupée par le donjon et les hautes tours du château. Le tour par le chemin de ronde offre des vues très agréables sur la cité fortifiée, ses maisons blanches rehaussées de bleu ou de jaune, ainsi que sur les environs.