Présentation du dashboard ReproVIP pour visualiser la reproductibilité dans l'imagerie médicale

La plateforme d'imagerie virtuelle VIP [1] (https://vip.creatis.insa-lyon.fr) est un portail web de simulation et d'analyse d'images médicales. Elle existe depuis plus de 10 ans et a évolué pour proposer plus de services avec une qualité croissante pour les chercheurs du monde entier. Ces services sont rendus possibles en utilisant les ressources de calculs et de stockage dédiées à l'organisation biomed de la fédération EGI, au travers de DIRAC (https://dirac.in2p3.fr/DIRAC/)



En tant que fournisseur d'applications, VIP est concernée par la crise de reproductibilité qui touche la recherche en imagerie médicale : d'un essai à l'autre, la réexécution d'un même traitement sur les mêmes données ne garantit pas la production des mêmes résultats. Lorsqu'on peut reproduire à l'identique (i) le logiciel d'analyse et (ii) le procédé d'exploration des données (modèles, pipelines), c'est (iii) l'environnement de calcul (ex. : OS, composants) qui s'impose comme source de variabilité supplémentaire et difficile à contrôler. En tant que plateforme de calcul aux environnements multiples, VIP offre un terrain d'expérimentation favorable pour quantifier et corriger cette incertitude numérique sur les résultats scientifiques.



Le projet ANR ReproVIP (ANR-21-CE45-0024-01) aborde la crise de reproductibilité à tous les niveaux d'analyse, depuis l'environnement de calcul jusqu'au processus de traitement des données médicales. Il inclut deux objectifs complémentaires : (i) évaluer l'incertitude des résultats obtenus sur la plateforme VIP et (ii) améliorer leur reproductibilité, de manière transparente pour l'utilisateur. Dans cette présentation, on introduira le dashboard qui a été créé dans le cadre de reproVIP pour remplir ce premier objectif. Des exemples de résultats et d'analyse de reproductibilité pour deux applications différentes ont déjà fait l'objet de papiers en conférence [2] [3].



Ce dashboard propose différentes fonctionalités complémentaires pour assister ceux qui étudient la reproductibilité d'applications et les utilisateurs qui veulent s'interesser aux résultats qu'ils produisent. Il se base sur des graphiques, des visualisateurs et des outils de comparaison pour présenter de manière claire les métriques et les résultats, et propose des options et des filtres et affiner la sélection des données à ce que l'utilisateur désire étudier. Cette présentation parcourera les fonctionnalités principales de ce dashboard, les problématiques de reproductibilité qu'il permet de traiter, les difficultés qui entravent son développement et ses perspectives futures.



[1] T. Glatard, C. Lartizien, B. Gibaud, R. Ferreira da Silva, G. Forestier, F. Cervenansky, M. Alessandrini, H. Benoit-Cattin, O. Bernard, S. Camarasu-Pop, et al. “A Virtual Imaging Platform for multi-modality medical image simulation”, IEEE Transactions on Medical Imaging, 2013

[2] Morgane Des Ligneris, Axel Bonnet, Yohan Chatelain, Tristan Glatard, Michaël Sdika, et al.. REPRODUCIBILITY OF TUMOR SEGMENTATION OUTCOMES WITH A DEEP LEARNING MODEL. International Symposium on Biomedical Imaging (ISBI), Apr 2023, Cartagena de Indias, Colombia. ⟨hal-04006057⟩

[3] Gaël Vila, Axel Bonnet, Fabien Chauveau, Sophie Gaillard, Françoise Durand-Dubief, et al.. Computational Reproducibility in Metabolite Quantification Applied to Short Echo Time in Vivo MR Spectroscopy. IEEE International Symposium on Biomedical Imaging, Apr 2023, Cartagena de Indias, France. ⟨hal-04006152⟩