Situé au bord de l’Isle, il fut construit aux 15e-16e s. par la famille de St-Astier. Au début du 20e s., le baron de Nervaux-Loÿs, propriétaire du château, créa des aménagements extérieurs : balustrade Renaissance sur la rivière, terrasses et douves. Ses descendants, le comte et la comtesse Christian de Lary de Latour, poursuivent l’œuvre entreprise. Son architecture intérieure est remarquable. La grande galerie, qui conserve quelques tableaux, une chaise à porteurs du 18e s. et une tapisserie des Flandres, accueille des expositions temporaires.