Varberg joua un rôle stratégique dès le Moyen Âge. Fondée vers 1280 sur un promontoire rocheux, la forteresse fut agrandie au 14e s. et devint une place forte royale sous Magnus Eriksson. Le château actuel, de style Renaissance italienne, est l'oeuvre du Hollandais Hans van Steenwinckel l'Ancien (1617). Il servit de prison de 1848 à 1881. Il abrite désormais les collections du musée historique du Halland, dont l'homme du marais de Bocksten (14e s.), découvert dans la tourbe en 1936.