Notice
Computational reproductibility: an overview illustrated with examples from the medical imaging research community
- document 1 document 2 document 3
- niveau 1 niveau 2 niveau 3
Descriptif
In the last few years, there has been a growing awareness of reproducibility concerns in many scientific fields. In [1] the analysis of a single neuroimaging dataset by 70 independent analysis teams revealed substantial variability in reported results, with high levels of disagreement across teams. Despite the increase in awareness, reproducibility is difficult to achieve because of the multiple sources of variability, from the computational environment and software versions, to the tool selection and the more global methodological approach.
This presentation will introduce various concepts and definitions related to reproducibility, then focus on computational reproducibility defined as one's ability to get identical outputs when applying the same treatments to the same set of inputs. The causes for the lack of reproducibility on the computational environment level are mainly related to the library dependencies and their evolution over time, but also to numerical instability due to floating point arithmetic issues (rounding errors, hardware and compiler optimizations). We will illustrate these sources of irreproducibility through concrete examples ranging from papers to data and different levels of code. We will also present some tools and best practices to improve computational reproducibility. The presentation will be based on experience gained within the ReproVIP ANR project [2] and the tutorial organized at MICCAI 2023 [3].
[1] Variability in the analysis of a single neuroimaging dataset by many teams, R Botvinik-Nezer et al., https://doi.org/10.1101/843193
[2] https://www.creatis.insa-lyon.fr/reprovip/
[3] https://www.creatis.insa-lyon.fr/miccai2023/
[4] Reproducibility of tumor segmentation outcomes with a deep learning model, M Des Ligneris et al., https://hal.science/hal-04006057v1
Sur le même thème
-
C@fé Renatis : Promouvoir l’ouverture des codes sources liés à la recherche
MAZZARESE Sébastien
BARBORINI Yannick
LENTRETIEN Célia
Le signalement des codes et logiciels dans HAL illustré par un retour d’expérience lorrain.
-
Embarquer pour une autre planète : faire découvrir le monde Wikipédia avec le projet pédagogique Wi…
BEAUDOUIN Pierre Yves
HALIMI Juliette
LOPEZ Hugo
MONTAGNE Delphine
BULTEL Charlotte
SCHAULI Mickaël
Éric Lewin assure depuis 5 ans un cours mêlant astronomie et Wikipédia. Il revient sur son origine, ses objectifs, les réussites mais aussi les limites de l'exercice. En deuxième partie, présentation
-
Table ronde autour du portail DUMAS
SOUCHON Agnès
BEC Aurélie
RICOUX Valérie
Table ronde organisée autour du portail des mémoires d'étudiants DUMAS.
-
Pourquoi relier votre ORCID à HAL ?
Relier votre identifiant ORCID à HAL possède de nombreux avantages, découvrez-les dans cette vidéo.
-
Valorisation économique des données de recherche et science ouverte : vraiment incompatibles ?
BOUILLARD Léna
LISERON-MONFILS Maélys
CLOSIER Elisabeth
La science ouverte est souvent citée comme un élément favorable à l’innovation. En effet, les données rendues publiques et correctement documentées permettent l’optimisation de la recherche. Cependant
-
JSO CNRS 2024 | Highlight de la journée
Journée science ouverte au CNRS 2024 – Highlight de la journée
-
C@fé Renatis - isidore.science et l'IA générative
POUYLLAU Stéphane
isidore.science : de la découvrabilité des publications et des données SHS à l’IA générative au service des chercheurs
-
La suggestion de dépôts, de quoi s’agit-il ?
Tutoriel 1 pour le service suggestion de dépôt dans HAL.
-
Que faire des publications qui vous sont suggérées ?
Tutoriel 2 pour le service suggestion de dépôt dans HAL.
-
Comment affiner la suggestion de dépôt ?
Tutoriel 3 pour le service suggestion de dépôt dans HAL.
-
Wikicafé avec Daniel Mietchen : Liens entre Wikidata et la recherche : Scholia, médecine et mathéma…
MIETCHEN Daniel
Daniel Mietchen est biophysicien et wikimédien. Tout au long de sa carrière, il a travaillé avec les projets wikis, proposant des outils qui permettent d'accompagner les pratiques de recherche des
-
Wikicafé avec Innocent Azilan : Valoriser la science des pays africains francophone à travers les C…
AZILAN Innocent Awuvé
Innocent Azilan est doctorant en sciences de l'information et de la communication. Grâce à son expérience comme journaliste et chercheur au Togo, il propose ici un panorama de la construction de la