Ce palais fut édifié par Giorgio Vasari en 1607 sur deux bâtiments anciens incorporant les restes de la Tour, dite de la Faim (della Fame) : dans cette tour, nous dit la chronique, le comte Ugolino della Gherardesca, commandant de la flotte pisane, fut condamné après une défaite que l'on attribua à sa trahison, à mourir de faim... avec ses enfants. Dante a évoqué cet épisode dans L'Enfer de sa Divine Comédie (chant XXXIII).