À l'inverse d'autres anciennes maisons de Charleston ayant retrouvé leur prestige après restauration, la Aiken-Rhett House n'a pas bougé depuis 1860. Cette maison individuelle en brique (1817) de style Régence fut acquise par la famille Aiken qui la réaménagea et l'agrandit. Les ravages du temps apparaissent clairement, en particulier sur les quelques meubles d'origine, mais cela fait partie du charme des lieux. À l'arrière, les communs (1817) abritent les quartiers des esclaves.