Le château, l'un des plus beaux et des plus grands de style Jacques Ier en Angleterre, fut édifié par Robert Cecil, qui confia les travaux à Robert Lyminge, l'architecte de Blicking Hall. Celui-ci réutilisa les briques du château antérieur pour bâtir, selon le traditionnel plan en E, un palais qu'il agrémenta de détails décoratifs en usant de pierres pour les chaînages d'angle et en installant des balustrades ajourées.