Notice
Computational reproductibility: an overview illustrated with examples from the medical imaging research community
- document 1 document 2 document 3
- niveau 1 niveau 2 niveau 3
Descriptif
In the last few years, there has been a growing awareness of reproducibility concerns in many scientific fields. In [1] the analysis of a single neuroimaging dataset by 70 independent analysis teams revealed substantial variability in reported results, with high levels of disagreement across teams. Despite the increase in awareness, reproducibility is difficult to achieve because of the multiple sources of variability, from the computational environment and software versions, to the tool selection and the more global methodological approach.
This presentation will introduce various concepts and definitions related to reproducibility, then focus on computational reproducibility defined as one's ability to get identical outputs when applying the same treatments to the same set of inputs. The causes for the lack of reproducibility on the computational environment level are mainly related to the library dependencies and their evolution over time, but also to numerical instability due to floating point arithmetic issues (rounding errors, hardware and compiler optimizations). We will illustrate these sources of irreproducibility through concrete examples ranging from papers to data and different levels of code. We will also present some tools and best practices to improve computational reproducibility. The presentation will be based on experience gained within the ReproVIP ANR project [2] and the tutorial organized at MICCAI 2023 [3].
[1] Variability in the analysis of a single neuroimaging dataset by many teams, R Botvinik-Nezer et al., https://doi.org/10.1101/843193
[2] https://www.creatis.insa-lyon.fr/reprovip/
[3] https://www.creatis.insa-lyon.fr/miccai2023/
[4] Reproducibility of tumor segmentation outcomes with a deep learning model, M Des Ligneris et al., https://hal.science/hal-04006057v1
Sur le même thème
-
Wikicafé avec Daniel Mietchen : Liens entre Wikidata et la recherche : Scholia, médecine et mathéma…
MietchenDanielDaniel Mietchen est biophysicien et wikimédien. Tout au long de sa carrière, il a travaillé avec les projets wikis, proposant des outils qui permettent d'accompagner les pratiques de recherche des
-
Wikicafé avec Innocent Azilan : Valoriser la science des pays africains francophone à travers les C…
AzilanInnocent AwuvéInnocent Azilan est doctorant en sciences de l'information et de la communication. Grâce à son expérience comme journaliste et chercheur au Togo, il propose ici un panorama de la construction de la
-
Restitution de l’enquête sur les besoins en communication des revues du périmètre lyonnais
ChollierVincentPiquetMarieVincent Chollier et Marie Piquet (Prairial, Université Lumière Lyon 2) présentent ici les résultats d'une enquête menée auprès des revues SHS du périmètre sur leur besoins en communication.
-
JSO CNRS 2024 | Discours d'ouverture
PetitAntoineJournée science ouverte au CNRS 2024 – Discours d'ouverture avec Antoine Petit (CNRS)
-
Politique du MESR sur les services et infrastructures numériques
Journée science ouverte au CNRS 2024 – Politique du MESR sur les services et infrastructures numériques avec Arnauld Leservot (MESR / DGRI / SSRI / A7)
-
Mise en place de la fédération de l’European Open Science Cloud (EOSC)
BeckmannVolkerJournée science ouverte au CNRS 2024 – Mise en place de la fédération de l’European Open Science Cloud (EOSC) avec Volker Beckmann (MESR / DGRI / SSRI / A7)
-
Le CNRS dans la construction de la fédération EOSC
DumouchelSuzanneJournée science ouverte au CNRS 2024 – Le CNRS dans la construction de la fédération EOSC avec Suzanne Dumouchel (DDOR CNRS)
-
Politique du CNRS en matière d’infrastructures numériques pour le calcul intensif, le traitement et…
Journée science ouverte au CNRS 2024 – Politique du CNRS en matière d’infrastructures numériques pour le calcul intensif, le traitement et le stockage de données avec Denis Veynante (DDOR CNRS)
-
Services numériques fédérés du CNRS à destination des infrastructures de recherche (EquipEx+ FITS)
MacchiÉtienneJournée science ouverte au CNRS 2024 – Services numériques fédérés du CNRS à destination des infrastructures de recherche (EquipEx+ FITS) avec Pierre-Etienne Macchi (CC-IN2P3 CNRS)
-
Nouvelle offre de services pour l’hébergement de moyens informatiques, le stockage, le traitement e…
LavalléePierre-FrançoisJournée science ouverte au CNRS 2024 – Nouvelle offre de services pour l’hébergement de moyens informatiques, le stockage, le traitement et la mise à disposition de données massives avec Pierre
-
Les avancées de la coalition internationale sur la réforme de l'évaluation de la recherche (CoARA)
RoussetSylvieJournée science ouverte au CNRS 2024 – Les avancées de la coalition internationale sur la réforme de l'évaluation de la recherche (CoARA) avec Sylvie Rousset (DDOR CNRS)
-
Retour sur l'intégration des nouveaux principes d'évaluation pour les sections du comité national
JobardFabienJournée science ouverte au CNRS 2024 – Retour sur l'intégration des nouveaux principes d'évaluation pour les sections du comité national avec Fabien Jobard (CPCN)