La vieille ville de Key West est l'un des plus grands quartiers historiques classés à l'inventaire national. Son architecture variée mêle maisons conch typiques rudimentaires en bois, coquettes demeures victoriennes ouvragées, maisons des Bahamas et ravissantes demeures néoclassiques construites par des marins de Nouvelle-Angleterre au 19e s. Parmi les ajouts régionaux au style néoclassique, figure le « sourcil », petit auvent surplombant les fenêtres situées à l'étage et servant à intercepter la lumière.