Ce bâtiment néoclassique (1847) devait remplacer la première résidence de l'archevêque, érigée à la fin du 17e s., dans le parc Montmorency. Suite à la campagne d'embellissement de Québec, lancée par lord Dufferin à la fin du 19e s., une fausse façade fut érigée vis-à-vis de la côte de la Montagne, afin que le palais fût visible du St-Laurent. La façade originale est tournée vers la cour d'honneur par laquelle on accédait au Vieux-Séminaire.