Après des travaux d'agrandissement, deux hôtels particuliers ont été réunis : l'hôtel Mailly (17e s.) et l'hôtel Lazerme (18e s.) dans lequel séjournèrent Picasso, Chagall et Cocteau à diverses reprises. Le musée porte le nom de Hyacinthe Rigaud (1659-1743), artiste perpignanais dont les portraits - en particulier celui de Louis XIV en costume de sacre - lui valurent une grande célébrité. La belle collection d'oeuvres court du 15e s. à nos jours.