Depuis le 11e s., le château veille sur la ville et la campagne environnante. Transformé du 13e au 16e s., il a conservé tout son lustre, visible dès l'entrée défendue par un pont-levis et un puissant châtelet flanqué de deux grosses tours à mâchicoulis. La tour St-Laurent offre une vue sur l'enchevêtrement des toits d'ardoises et permet de saisir l'étroitesse des rues. Elle abrite, avec les tours de l'Argenterie et de l'Oratoire, les collections du musée (sculptures, art religieux, émaux...).