Cet édifice fut fondé en 1542 par lord Audley (originaire d'Audley End), sur le site d'un collège bénédictin. Derrière la seconde cour se dresse Pepys Building, bâtiment abritant la bibliothèque personnelle de Samuel Pepys, que ce dernier légua au collège en 1703 et qui contient le manuscrit de son Journal, rédigé dans un langage codé.