GT Notebook Webinaire | #7 Jupyter Notebook et Calcul Intensif (HPC)

Pour cette septième édition du webinaire du GT Notebook, nous avons décidé de faire un focus sur l’execution des Notebooks Jupyter dans un environnement HPC (High Performance Computing, en français, calcul haute performance ou calculs intensifs).

Ces dernières années, avec - entre autres- le développement rapide et soutenu du Machine Learning et de la Data Science dans de multiples disciplines, de nouvelles communautés avec de nouveaux besoins se sont manifestés auprès des équipes d’ingénieur·e·s dans les centres de calculs.

Ces usages s’appuient sur le format Notebook (Jupyter, etc.), or celui n’est pas/n’était pas historiquement conçu pour un usage sur des clusters. C’est ce qui a poussé plusieurs équipes d’ingénieur·e·s à développer des solutions pour déléguer les calculs réalisés dans les Notebooks, en intervenant soit au niveau de la cellule, soit au niveau du Notebook lui-même.

Nous aurons la chance d’écouter et de discuter avec des ingénieurs spécialistes de ces questions au sein de différents mésocentres régionaux, chacun sur 15/20 minutes :

• Bernard Chambon est ingénieur en développement logiciel au Centre de Calcul de l’IN2P3 (CC-IN2P3, UAR6402 rattachée à l’IN2P3). Il a mis en place et est responsable de la plateforme des notebooks Jupyter. Il présentera une solution avec Dask dans un environnement Slurm.

• Benoist Gaston est ingénieur HPC au sein de l’équipe calcul du CRIANN (Centre Régional Informatique et d’Application Numériques de Normandie).Il est rattaché au CCFR (Centre de Compétence HPC, HPDA et IA) du projet EuroCC qui accompagne les entreprises et le secteur public dans l’usage du HPC. Il nous présentera le service Jupyter mis en place sur le nouveau supercalculateur (Austral) du CRIANN.

• Pierre-Antoine Bouttier est ingénieur de recherche CNRS en ingéniérie logicielle, actuellement directeur adjoint de l’UAR GRICAD. Sa présentation détaillera comment GRICAD, à travers des services dédiés ou via l’usage des supercalculateurs, offre des possibilités pour travailler avec les bloc-notes Jupyter.

• Ludovic Courtès est ingénieur de recherche à Inria Bordeaux. Il a fondé Guix il y a plus de 10 ans et travaille sur l’usage de Guix au sein d’environnement de calcul haute performance via le projet Guix HPC. Il présentera Guix-Jupyter, un noyau Jupyter basé sur Guix qui vise à fournir un environnement d’exécution contrôlé et réellement reproductible pour les blocs-notes Jupyter.