La grotte la plus proche de Castleton est Peak Cavern, dont l'entrée impressionnante est située au pied de la colline sur laquelle se trouve le château. Pendant quatre siècles, jusqu'en 1974, des cordiers y étaient installés : ils fabriquaient des cordes pour les mineurs.