Bâti sur une terrasse dominant la ville, l'édifice actuel (1530) est surmonté d'une grosse tour carrée flanquée de quatre clochetons d'angle. À l'origine se trouvait une église du 11e s. dont les murs ont été découverts lors de travaux de fouilles. De la terrasse (table d'orientation), on a une vue étendue sur la ville, le lac Léman et les Alpes.