Ces grottes sont d'anciennes carrières de marne qui furent connues dès l'époque romaine. Elles sont en partie mises en valeur par un spectacle son et lumière. Elles servirent souvent de refuge (Révolution française, guerres). Sédimentaire, la roche contient de nombreux fossiles. Les parois sont couvertes de dessins faits au charbon de bois ou de bas-reliefs, les uns représentant des animaux dont on a retrouvé des fossiles (mosasaure), d'autres des sujets artistiques (La Joconde) ou religieux.