Flipping the Hierarchy of Evidence ?

Flipping the Hierarchy of Evidence ? : Rituals of Inversion and Subversion in the Inclusion of Qualitative Research in WHO GuidelinesEvidence-based medicine (EBM)—and its hallmark method, meta-analysis—have enjoyed rapidly increasing visibility and legitimacy since the early 1990s.  The many assumptions of EBM—that valid, universal knowledge can be produced, that knowledge synthesis can be rigorous and transparent, and that these syntheses will slot neatly into policy and practice—have come to appear self-evident.  The rhetoric of “evidence-based” practice frames evidence synthesis as both common sense, with respect to orthodox scientific method, and, paradoxically, a radical break with a past practice steeped in the subjective prejudices of “expert opinion”. Within medicine and public health, the concept of evidence is typically limited to the quantitative and the gold standard of EBM has been the meta-analysis of randomized controlled trials.  Recently, however, there has been recognition of the potential contribution of (what gets framed as) “qualitative research” in EBM.  As health systems, and “complex” health systems interventions in particular, are recognized as critical determinants of health outcomes, policymakers are increasingly considering social science research, though typically only within the narrow purview of concepts like the “implementation” and “acceptability” of interventions. This paper draws from my participation in the first WHO technical guideline committee to formally integrate qualitative evidence syntheses into official global health guidelines.  The systematic reviews of qualitative evidence produced for this committee were also the first ever to have been registered as officially sanctioned “Cochrane reviews”.  The paper begins by situating this fieldwork within the broader history of a) the WHO’s often complicated translation of evidence into policy, as well as b) the development, and disciplining, within the health sciences of “qualitative research”.  It then charts how the decision was made to include this form of evidence and examines how evidence synthesis methodologies were adapted to fit pre-existing policy techniques and expectations for legitimating, standardizing and synthesizing quantitative evidence.  The paper concludes with a look at how a group of independent experts, commissioned to review and certify the final guidelines and accompanying “evidence base”, made sense of the integration of qualitative evidence.  A number of key questions animate this paper.  How were the methodological and epistemological practices that underpin the social sciences translated and negotiated, and what rationales and agendas were at stake, as clinicians, policymakers and social scientists engaged with each other.  Which policy questions were seen to be answerable by qualitative research (and which weren’t), what forms of evidence were included (and on what terms), and how were methods for synthesizing evidence negotiated and reframed to meet expectations that evidence be constructed as standardized, objective, transparent, and reproducible.  How did the external review committee introduce another layer to this translation process, one shaped by historical debates around lay health workers and by local, national and regional political agendas.  In the end, the paper considers to what extent this process represented an innovation in health policy development or to what extent it (also?) represented a capture and disciplining of social science evidence and theory by the biomedical mainstream.Retournement de la hiérarchie de la preuve ? : Rituels d'inversion et de subversion dans l'inclusion de la recherche qualitative dans les lignes directrices de l'OMSL’evidence-based medicine (EBM) et son mode de marque, la méta-analyse, ont bénéficié d'une augmentation rapide de leur visibilité et de leur légitimité depuis le début des années 1990. Les nombreuses hypothèses de l'EBM – qu’une connaissance universelle peut être produite, que la synthèse des connaissances peut être rigoureuse et transparente, et que ces synthèses s’inséreront parfaitement dans la politique et la pratique – en sont venus à paraître évidents. La rhétorique de la pratique de l’EBM est que l’EBM est tout à la fois une forme de "sens commun", du pointe du vue de la méthode scientifique orthodoxe, et, paradoxalement, une rupture radicale avec la pratique passée ancrée dans les préjugés subjectifs de «l’avis d'expert».Dans la médecine et la santé publique, la notion de preuve est généralement limitée aux données quantitatives. L'étalon-or de l'EBM est la méta-analyse d'essais contrôlés randomisés. Récemment, cependant, il la contribution potentielle de (ce qui est présenté comme) «recherche qualitative» dans l’EBM a été reconnue. Comme les systèmes de santé et les interventions «complexes» aux systèmes de santé en particulier, sont reconnus comme des déterminants de santé, les décideurs envisagent de plus en plus le recours à la recherche en sciences sociales, mais en général seulement dans le domaine étroit de concepts tels que la «mise en œuvre» et «l'acceptabilité» de interventions.Cette présentation s'inspire de ma participation au premier comité de directives techniques de l’OMS pour intégrer officiellement les synthèses de preuves qualitatives dans les lignes directrices officielles de la santé mondiale. Les examens systématiques des données qualitatives produites pour ce comité ont également été les premiers à avoir jamais été enregistrés officiellement comme "examens Cochrane".La présentation commence par situer mon travail de terrain au sein de l'histoire plus large de a) la traduction par l'OMS, souvent compliquée, des preuves en politique, ainsi que b) le développement et la discipline, au sein des sciences de la santé, de la «recherche qualitative». Elle montre ensuite comment la décision a été prise d'inclure cette forme de preuve et examine la manière dont les méthodologies de synthèse de preuve ont été adaptés pour répondre aux attentes techniques et politiques pré-existantes pour légitimer, normaliser et synthétiser les données quantitatives. Ma présentation se termine par un regard sur un groupe d'experts indépendants qui ont été chargé d'examiner et de certifier les lignes directrices finales.Un certain nombre de questions clés anime cette présentatuin. Comment ont été traduites et négociées les pratiques méthodologiques et épistémologiques qui sous-tendent les sciences sociales, et quelle logiques et programmes étaient en jeu alors que des cliniciens, des décideurs et des spécialistes des sciences sociales s’engagaient les uns avec les autres? Quelles sont les questions politiques qui étaient considérées comme pouvant trouver une réponse grâce à la recherche qualitative, (et quelles sont celles qui ne l’étaient pas), quelles formes de preuve ont été incluses (et à quelles conditions), et comment les méthodes pour synthétiser les données ont-elles été négociées et recadrées pour répondre aux attentes concernant les preuves, à savoir que celles-ci doivent être construite de façon à être standardisées, objectives, transparentes et reproductibles? Comment le comité d'examen externe a-t-il introduit une couche supplémentaire à ce processus de traduction, une couche informée par les débats historiques autour des  agents de santé communautaires et par les agendas politiques locaux, nationaux et régionaux. En fin de compte, cette présentation examine dans quelle mesure ce processus constitue une innovation dans l'élaboration des politiques de santé ou dans quelle mesure (aussi ?) il représente une capture des données et de la théorie en sciences sociales par le courant biomédical dominant.