Élevé au cours des 11e et 12e s., il est connu pour avoir été la propriété des évêques de Winchester. Durant la guerre civile, Taunton et son château eurent à subir trois sièges. Une partie de l'édifice abrite désormais le Museum of Somerset qui retrace l'histoire de la région.