Face à l'Hôtel de ville se trouve un bel exemple d'architecture domestique des débuts du 18e s. Ce bâtiment, caractérisé par une maçonnerie de moellons, fut construit en 1705 pour Claude de Ramezay, onzième gouverneur de Montréal sous le Régime français. Aménagé en musée en 1895, l'édifice est dédié à l'histoire politique, économique et sociale de Montréal. Des guides en costume proposent une visite commentée des expositions. Le château possède également un jardin à la française.