Le musée, dit « du Grand Vasco », occupe l'ancien palais dos Três Escalões, construit au 16e s. et modifié au 18e s. Même si le musée présente des éléments de sculpture du 13e au 18e s., des peintures portugaises du 19e s. et du début du 20e s. - dont des toiles de Columbano (1857-1929) et d'António Carneiro (1872-1930) -, des pièces d'orfèvrerie et de la porcelaine orientale, il est surtout consacré aux primitifs de l'école de Viseu.