L'édifice présente deux aspects distincts : un fier et sévère donjon du 14e s. magnifiquement restauré, qui a conservé ses créneaux et ses mâchicoulis, et un majestueux ensemble du 17e s. avec sa cour royale et la sainte-chapelle royale abritant de beaux vitraux Renaissance. Le donjon est l'unique résidence médiévale des souverains encore existante en France. Puis, au 16e s., il devint prison d'État. Les incarcérations y étaient surtout d'ordre politique : le Grand Condé, le cardinal de Retz, Diderot, le marquis de Sade...