Les origines du château remontent au 12e s., mais Jean de Berry fit transformer l'ancienne forteresse entre 1367 et 1390. L'architecte Guy Dammartin, maître général des oeuvres du duc, en fit un château gothique flamboyant. Une miniature des Très Riches Heures du duc de Berry (l'original se trouve au musée Condé à Chantilly) montre l'édifice tel qu'il était au 15e s., mais on devine encore aujourd'hui le plan du château. Le musée Charles-VII, installé dans une tour, retrace l'histoire du site.