Au 16e s., le futur Charles IX, alors duc de Södermanland, fit édifier un somptueux palais Renaissance qui fut détruit par un incendie en 1665. Il ne fut jamais restauré et il ne reste aujourd'hui que le corps de garde Renaissance et la tour du roi, Kungstornet, ainsi que les ruines d'un ancien donjon avec ses cachots légendaires, dans le coin nord-est de la cour. L'ancienne résidence du gouverneur, Gamla Residenset, datant du 18e s., donne sur la cour extérieure.