Le site fut occupé par une église dès les débuts de la christianisation de l'Angleterre ; celle-ci fut dédiée à saint Dunstan, évêque de Londres au 10e s. L'édifice, comme quelques monuments à l'intérieur, date du 13e s. Le registre paroissial, qui remonte au début du 16e s., sert aussi à l'enregistrement des naissances survenues en mer ; aussi l'église est-elle connue également sous le nom de Church of the High Seas.