Surplombant un gué sur la rivière, ce site a toujours attiré les hommes. Occupé d'abord par des tribus germaniques et slaves, le lieu tombe, au 10e s., entre les mains des souverains premyslides de Bohême qui y établissent une forteresse. En 1179, l'empereur Frédéric Barberousse entreprend l'édification de l'actuel château impérial. Aujourd'hui encore, de beaux éléments perdurent comme le donjon en basalte, appelé Tour noire (Cerná vez), et la salle haute de la chapelle ornée de colonnes, chapiteaux sculptés et voûtes nervurées.