C'est à l'emplacement d'une forteresse inachevée que Pierre II de Savoie, s'étant emparé d'Yverdon en 1259, fit construire cet édifice flanqué de quatre tours rondes. Il abrite aujourd'hui un musée d'histoire locale où une section est dédiée à Johann Heinrich Pestalozzi (1746-1827). Cet éminent éducateur se consacra à l'éducation des enfants pauvres et mit en pratique ses théories, notamment à Yverdon.