Fink, un gestionnaire d’alertes pour l’astrophysique

Depuis 2019, le projet Fink (https://fink-broker.org) s'appuie sur le mésocentre Paris Saclay, et notamment la composante cloud@VirtualData, pour traiter en temps réel de grands volumes de données en astrophysique. Le projet, développé initialement pour l'expérience d'astrophysique LSST/Vera Rubin Observatory, a notamment mis en place un service de traitement de données en flux s'appuyant sur des systèmes distribués utilisant les technologies Apache Spark et Apache Kafka, ainsi qu'un portail scientifique s'appuyant sur un service de base de données distribuée (Apache HBase) pour permettre à ses utilisateurs de traiter les téraoctets quotidiens et ensuite d'accéder à ces données pour des analyses ultérieures. Le projet, qui réunit une centaine d'utilisateur dans le monde, a permis de nombreuses publications scientifiques et découvertes depuis sa création. Dans cette présentation, je reviendrai sur l'architecture logicielle du projet, son déploiement dans le cloud@VirtualData, les performances sur de larges volumes de données, et les perspectives d'amélioration.