En 1834, Augustus Smith fit construire une demeure de style néogothique victorien en utilisant les pierres de l'île et les planches des bateaux naufragés et y créa ce jardin à partir de graines et de plantes originaires de la Méditerranée et des îles Canaries. Ses successeurs étendirent cette fascinante collection. Depuis les terrasses, on bénéficie d'une vue magnifique sur les jardins et sur la mer.