Édifié en 1777 pour Marie-Josèphe Sandelin, comtesse de Fruges, l'hôtel se trouve entre cour et jardin. Le parcours permet de découvrir les riches collections du musée : épées et d'armes à feu du 12e au 17e s., vestiges médiévaux, art religieux, céramique... Il mène des caves au premier étage, à travers de superbes salons en enfilade, qui ont conservé leurs boiseries d'époque, du mobilier Louis XV et de belles toiles du 17e au 19e s. (Nattier, Boilly, primitifs flamands).