Perché sur une crête de grès à plus de 120 m au-dessus du niveau de la mer, le parc a été aménagé à l'extrémité sud de Point Loma à la mémoire de Juan Rodriguez Cabrillo, l'explorateur portugais qui fut le premier à accoster dans la baie en 1542.