Le musée a été installé en 1903 dans l'ancien hôtel de Rohan-Guéménée, construit au début du 17e s. Victor Hugo, qui y vécut de 1832 à 1848, y rédigea notamment Ruy Blas. Les travaux de réaménagement prévoient un nouveau parcours de visite, l'accès au jardin ainsi qu'un salon de thé.