Construit vers 1200 à l'initiative d'Hugues d'Olhain, dont il a pris le nom, ce château montre une structure médiévale bien conservée. Un pont-levis dessert la cour où l'on voit une tourelle de guet (escalier de 100 marches), une salle gothique, dite « salle des gardes », des caves aux murs épais de 2 à 3 m et une chapelle. Offrez-vous une promenade agréable le long des douves.