Construit en 1891 pour Frederick W. Vanderbilt sur un terrain de 4 ha face au large, Rough Point doit son nom au promontoire rocheux qu'il occupe. James B. Duke, fondateur de la Duke Power et roi du tabac en Caroline du Nord, acheta cette propriété à l'architecture gothique en 1922. À sa mort en 1925, sa seule enfant, Doris en hérita et magnifia la décoration. Aujourd'hui, ce « cottage » de 3 700 m2, conservé quasiment à l'identique depuis la mort de Doris en 1993, rend hommage à son bon goût.