MarsSI : service de traitement et diffusion de données orbitales martiennes

Il permet à la communauté scientifique de plus facilement accéder aux données, fournies habituellement par les agences spatiales ou équipes instrumentales, et de les rendre exploitables en mettant à disposition matériel, logiciels et recettes. MarsSI fait partie de PSUP (Portail des Surfaces Planétaires), projet labellisé ANO5 par le CNRS/INSU.

MarsSI s'appuie sur une conception modulaire, profitant de nombreux composants d'étagères et avec un minimum de développements spécifiques.

Le catalogue en base de données Postgres (avec extensions PostGIS pour les requêtes géographiques et géométriques) est étroitement lié au portail web, basé sur le framework Python Django. Le logiciel MapsSrver permet à la partie cliente/javascript (basée sur la librairie Leaflet) de s'interfacer avec le catalogue. La plupart de ces composants ont été conçus pour ingérer des données terrestre, mais il est possible de les reconfigurer pour utiliser une autre planète.

Le portail web possède aussi les définitions des macros-étapes de traitement des produits. MarsSI fonctionne sur un principe de traitement à la demande : cela lui permet de traiter au fil les besoins en données, qui seraient trop volumineux pour être traités intégralement et mis à disposition. L'interface permet aux utilisateurs de voir le statut des produits et demander le traitement. Le choix pour MarsSI a été de ne déployer que des traitements 100 % automatiques, pour simplifier les choix utilisateurs, mais également pour ne pas avoir à gérer la problématique de gérer les différentes paramétrisations. Les données traitées sont mises en commun.

Les capacités de traitement de MarsSI sont modestes : 4 nœuds pour 80 coeurs de génération westmere. Les nœuds démarrent via PXE et utilisent une image réseau pour centraliser leur gestion. Ces nœuds sont interconnectés par un réseau Infiniband 40Gb/s (et un réseau 1Gb/s pour le boot, et des accès administratifs). L'orchestration des tâche est réalisée par une instance OAR dont la souplesse et les fonctionnalités sont utiles : en plus des quotas, le système de Karma aide énormément à assurer un accès équitable aux ressources, et l'API REST est utilisée pour l'interfaçage avec le portail web. Si une tâche dépends d'autre produits, les tâches sont soumises au cluster en utilisant le système de dépendances. OAR gère également le cycle d'allumage et extinction des nœuds de calcul (basé sur IPMI/Ethernet).

La seconde génération de stockage est basée sur une solution ZFS/JBOD de 170To effectifs (occupé à ~33%) mettant à disposition les volumes via NFSv4. Malgré l'idée reçu que les problématiques de traitement de données rencontrent un goulot d'étranglement au niveau des Entrees/Sorties, nos traitements sont en réalités plus contraints par le CPU et la mémoire, et un tel système est adéquat.

Le service est complété d'un annuaire LDAP et un portail SSO (Authelia), qui permet de gérer les identités au travers du système entier, d'un wiki (documentation), forge gitea pour le suivi d'indicents et est supervisé par une instance nagios.

Basé sur des modules initialement prévus pour l'observation de la terre, MarsSI permet d'aider la communauté « Martienne » (et bientôt celles d'autres planètes) à identifier et pré-traiter les données qui peuvent ensuite être plus facilement exploitées par les scientifiques n'ayant pas forcement ni la connaissance ni les moyens de faire ces étapes.