À l'extrémité sud de Southsea, se trouve le château, construit par Henri VIII en 1544-1545, partie intégrante de l'ensemble des forteresses défendant les ports le long des côtes méridionale et orientale. Le donjon central, entouré de douves à sec, est toutefois essentiellement Tudor. À l'intérieur, une exposition retrace l'expansion des fortifications de Portsmouth, le règne d'Henri VIII et la guerre civile.