Construit pour le comte d'Évreux en 1718, ce fut un bal public sous la Révolution ! Il devint résidence d'État sous le Premier Empire et fut habité par Caroline Murat et l'impératrice Joséphine. Résidence du prince président Louis-Napoléon jusqu'au coup d'État de 1851, il devint la résidence officielle des présidents de la république en 1873.