L'hôtel fut bâti vers 1540 par Jean II de Calvimont, seigneur de Labenche, garde du sceau et greffier du roi. Avec la coloration rosée de sa pierre, il s'agit d'un superbe spécimen de la Renaissance toulousaine. L'exposition permanente du musée attire un public varié. Sont conservées des collections de géologie et de paléontologie, d'histoire, de mobilier et de tapisseries, d'art et d'archéologie, ainsi que de traditions populaires.