Occupant autrefois tout le promontoire sur lequel il a été bâti, le château n'a conservé du démantèlement ordonné par Louis XV que la tour de César et la tour de l'Horloge. Dans cet ancien donjon du 14e s., on ne visite que la salle des Gardes, voûtée en berceau brisé. À l'opposé du donjon, la tour de César, circulaire et à l'appareillage irrégulier, remonte au 12e s. De son sommet (322 m d'altitude), vous pourrez contempler un superbe panorama.