Le site fortifié du château fut occupé au moins depuis le règne de l'empereur Claude (41-54). Son histoire reste encore marquée d'incertitudes, mais il semble dater du haut Moyen Âge. Une pittoresque confusion de ruines en jalonne l'histoire, jusqu'au règne d'Henri II. Compris dans l'enceinte du château, le prieuré de St-Maurice abrite aujourd'hui le musée de la Vénerie.