Symbole du pouvoir ducal puis royal, le château, qui accueille le musée d'Histoire de la ville et d'Ethnographie du pays malouin, est accolé à la tour Quic-en-Groigne. On y découvre les façades des casernes des 17e et 18e s. qui abritent aujourd'hui l'hôtel de ville, la citerne, le grand donjon et le castelet. Édifié en 1395, le petit donjon flanque l'ancien mur d'enceinte. Le grand donjon, élevé en 1424, domine le château : des tourelles de guet, on jouit d'un beau panorama sur la ville, le port et la côte.