John Wise, qui fonda la taverne de Gadsby, construisit, en 1797, cet élégant bâtiment de brique de la fin de l'époque georgienne pour y habiter. Au début du 19e s., d'éminentes personnalités d'Alexandria se succédèrent dans cette bâtisse. En 1833, la maison fut achetée par John Lloyd. La famille Lloyd restera propriétaire de cette demeure jusqu'en 1918. En 1976, le bâtiment fut intégré à la bibliothèque d'Alexandria.