Le château construit par Guillaume de Varenne, un des plus ardents partisans de Guillaume le Conquérant, n'était, à l'origine, qu'une vaste maison de pierre fortifiée. Le donjon fut construit durant les guerres civiles des années 1140.