Le gouverneur des Pays-Bas fit bâtir le palais entre 1756 et 1780 à l'emplacement de l'ancien hôtel de Nassau. De la construction originelle, il reste une aile néoclassique fermant la place. Après rénovation, ses belles salles (notamment un salon rond décoré d'un pavement de marbre - remarquer la rosace de 28 marbres) accueilleront des expositions temporaires dont The World of Bruegel in Black and White (estampes, dessins de Bruegel).