Une forteresse sur un tel site ne pouvait qu'attiser les convoitises de ceux qui prétendaient à la suzeraineté du Périgord. De fait, l'histoire du château de Montfort se résume à une litanie de sièges et de luttes pour sa possession : en 1214, il est pris par Simon de Montfort qui le fait raser ; reconstruit, il est détruit à trois autres reprises : lors de la guerre de Cent Ans, sous Louis XI et Henri IV, et chaque fois rebâti ! Ce sont les restaurations du 19e s. qui lui confèrent cet aspect de château d'opérette.