En 1783, un groupe de pasteurs anglicans se réunit ici pour élire le premier évêque des colonies, Samuel Seabury (1729-1796). La Glebe House, qui datait de 1750, est donc considérée comme le lieu où fut fondée l'Église épiscopalienne (très proche de l'Église anglicane) en Amérique. Autour de la maison, le jardin a été reconstitué conformément aux plans dessinés dans les années 1920 par la paysagiste anglaise Gertrude Jekyll.