L'ancien évêché, construit au 12e s. puis modifié au 17e s., abrite une riche collection de peintures et sculptures illustrant les différents mouvements du 16e s. au 20e s. L'appartement de Bossuet n'a conservé que ses dispositions d'ensemble, la décoration ayant été remaniée dans le style Louis XV. Le jardin, en forme de mitre d'évêque, a été dessiné par Le Nôtre.