À l'extrémité nord de l'anse de Portsmouth se trouve un château presque entièrement cerné par la mer. La première phase de sa construction fut entreprise à la fin du 3e s., à l'époque romaine. Les murs sont toujours debout, bien que le fort ait été utilisé par les Saxons aux 5e et 6e s., avant de devenir un château médiéval, au début du 12e s., sous le règne d'Henri Ier.