Cet article fait suite à celui-ci, où je donnais quelques exemples illustrant cette « crise de reproductibilité » qui secoue la recherche scientifique. En janvier, Marcus R. Munafò et ses collègues publiaient « Manifesto for reproducible science » dans la revue Nature Human Behaviour.
Dans ce manifeste, ils dénoncent les pratiques qui nuisent à la reproductibilité scientifique, qui provoquent ce gâchis scientifique, humain, financier.
Toutes les étapes de la construction et de la publication de découvertes scientifiques. En rouge, les obstacles à la reproductibilité des résultats. Le terme HARKing signifie « Hypothesizing After the Results are Known » : Faire des hypothèses post hoc, une pratique très souvent dénoncée en sciences du comportement. (source de l’image)
Mais il ne s’agit pas uniquement d’un pamphlet. Les auteurs proposent plusieurs grandes idées pour limiter cette crise de la reproductibilité. J’ai pris la liberté de les reprendre, en les réorganisant sous quatre pôles distincts.
Pré-enregistrer les études, pré-publier : promouvoir la transparence avant même la publication définitive des résultats
Lorsqu’on parle de pré-publication, on pense très vite à la platerforme arXiv.org, qui consiste à rendre public (et gratuitement) des résultats préliminaires, souvent non publiables en l’état, afin de profiter du regard de la communauté scientifique pour valider mesures expérimentales et méthodologie. Pour apparaître sur arXiv, nul besoin de validation par les pairs. Il y a donc un processus complémentaire, ouvert et collaboratif, avant soumission de la publication sur un autre support… ou abandon. Pas besoin du long et douloureux processus de rétractation, ou de corrigendum des publications pour ne conserver que les plus rigoureuses…
Quelques exemples sont suffisamment célèbres pour être signalés (voir la notice arXiv sur wikipédia):
- Une démonstration de la conjecture de Thurston a été déposée en 2002 sur arXiv par Grigori Perelman, examinée pendant 4 ans, et finalement validée.
- Une démonstration de l’existence de solutions générales à l’équation de Navier-Stokes a été déposée par Penny Smith, avant d’être finalement abandonné.
- Les travaux d’Enders Eklund, remettant en question les méthodologies en IRM fonctionnelle ont d’abord été publiés sur arXiv, avant de finir sur la prestigieuse revue PNAS. (Par ailleurs, il me semble – à titre personnel- que l’accès à une revue aussi sélective a sans doute été rendue possible grâce à la prépublication)
Cependant, tous les domaines scientifiques ne sont pas ouverts à cette plateforme… Principalement en raison des habitudes des communautés de chercheurs. arXiv s’est principalement développée autour de la physique, information, mathématique… La chimie, -au hasard !- n’est pas concernée…(2)
ArXiv est un outil intéressant et productrice d’une rigueur que le peer-reviewing classique n’atteint pas. Les « Registered Reports » me semblent tout à fait complémentaires, et particulièrement efficaces. Le principe est simple : Le processus de Peer-Review est décomposé en deux :
- Une première étape d’évaluation par les pairs concerne les hypothèses de départ et les méthodes qui seront mis en oeuvre. Si elles sont retenues, l’équipe de recherche obtient un accord de principe pour publication.
- La deuxième étape d’évaluation concerne le manuscrit de l’article à publier. Sous réserve de la bonne observance des méthodes déjà validées lors de la première étape, et de rigueur de présentation des résultats, et quelque soit leur importance dans le champ disciplinaire concerné, l’article est publié.
Principe des « Registered Reports » : avoir un accord de publication avant obtention des résultats
Cette première validation donne l’assurance aux chercheurs d’être publiés. La nécessité absolue de résultats positifs, voire particulièrement remarquables s’envole, laissant la possibilité de publier des résultats négatifs ou peu significatifs. D’une part la fraude, les petits arrangements perdent beaucoup d’intérêts avec ce processus, mais de plus l’évaluation des chercheurs par les publications redevient un peu plus saine : les « bons » sont ceux qui ont produits des hypothèses pertinentes, et qui ont su se montrer rigoureux dans la construction de nouveaux savoirs scientifiques. Certaines revues ont mis en place, de façon facultative, ces « Registered Reports ». On trouvera une liste ici (notez l’absence de la chimie…).
Finalement, ces « Registered Reports » (oui, je n’ai pas trouvé de traduction, et j’ai du mal à en proposer une à la fois claire et légère…) rejoignent l’arsenal déjà existant qui permet les pré-enregistrement des recherches. Mais encore une fois, les domaines de recherche sont très inégalement concernés par les pré-enregistrements. Ils sont quasi systématique dans le domaine de la recherche médicale, et hébergés par différents sites institutionnels (comme le site américain ClinicalTrials.gov dont l’origine date de 1988, ou l’européen EudraCT Public website propulsé par la Commission Européenne), mais quasi absents de tous les autres domaines. Il est vrai que la question des essais cliniques est particulièrement sensible, tant les enjeux financiers et surtout humains sont importants…
L’indispensable libre accès aux articles et aux données
Quand Eklund conclut son article sur les défauts de traitements statistiques des données issues des expériences d’IRM fonctionnelle, concernant près de 30 000 articles scientifiques, il n’oublie pas de préciser que pour la plupart d’entre eux, il ne sera pas possible d’utiliser les nouvelles méthodologies plus fiables : les données brutes de ces expériences n’existent plus.
Dans un autre registre, je suis tombé il y a quelques minutes, sur ce tweet :
Data on glyphosate, not considered because it was unpublished, would likely have changed IARC’s cancer assessment. https://t.co/UCV1ihDoJX
— Tamar Haspel (@TamarHaspel) 14 juin 2017
Sans revenir sur cette controverse scientifique concernant le glyphosate où se mêlent lobbies agro-industriels, zêle journalistique pas toujours bien placé, et santé publique, ce rebondissement (Il semblerait que des données non publiées remettent en question les conclusions de l’IARC classant le glyphosate comme « cancérigène probable ») est symptomatique de l’importance de la publication, ouverte à tous, des données des études. Que cela soit pour vérifier les traitements statistiques, en effectuer de nouveaux, plus pertinents, plus fins, ou procéder des méta-analyses nécessitant de re-traiter les données brutes issues de publications distinctes.
Sans entrer dans trop de détail, il me semble que la publication des données brutes fait aujourd’hui consensus, même si elle n’est pas encore suffisamment entreprise. La publication en accès libre des études scientifiques est également un vecteur fondamental de la diffusion des connaissances et des travaux scientifiques. À ce titre, elle permet d’accroître la communauté qui peut vérifier, comparer, évaluer les résultats et les méthodologies mises en oeuvres.
La littérature promouvant le libre accès aux données et aux études est abondante… Nul besoin que j’en remette une couche. Je ne m’étendrais pas plus ici sur la question, d’autant qu’il me faudrait encore critiquer le domaine de la chimie, mauvais élève de la recherche scientifique concernant l’accès libre aux publications…
Peer-review, collaborations… De la diversité, que diable !
Rien de tel que la diversité au sein des équipes, des collaborations, et des re-lecteurs pour améliorer la qualité des publications, et ainsi leur reproductibilité. Ainsi Munafo et coll. expliquent très justement que les chercheurs ne peuvent pas être à la fois des biologistes / psychologues / physiciens / etc. hors pairs, et des mathématiciens / épidémiologistes / statisticiens / informaticiens / etc. au courant des dernières évolutions sur le traitement des données. Ils proposent ainsi que soient associés aux équipes de recherche des professionnels spécialistes des méthodologies, et non du domaine de recherche concerné, dans le but d’offrir un regard aussi neutre que possible sur le design, le suivi, le traitements des résultats des travaux menés.
Cette même proposition est valable pour l’étape d’évaluation par les pairs avant publication. Les auteurs insistent encore une fois sur l »intérêt de pré-publier les résultats, pour augmenter le nombres d’acteurs susceptibles d’évaluer les études menées, mais également sur la possibilité de post-évaluation des articles, rendue aujourd’hui possible, et même aisée par les outils informatiques et la mise à disposition des études sur le net.
Permettre de larges collaborations est également mis en avant. Là où une équipe isolée ne peut que produire des résultats statistiquement peu robustes, pour des raisons évidentes de moyens financiers et humains mais également pour des raisons de contextualisation qui ammoindrissent nécessairement la portée des travaux, plusieurs équipes mettant en commun hypothèses et protocoles d’études peuvent produire des résultats beaucoup plus fiables et robustes. Il s’agit encore une fois d’éléments de bon sens, mais mis en oeuvre de façon trop ponctuelles. Les auteurs du manifeste citent néanmoins plusieurs initiatives en SHS, comme le projet « The Many Lab« , hébergé sur la plateforme Open Science Framework, qui centralise les projets nécessitant le recrutement d’équipes collaboratrices…
Je vais me permettre de proposer un exemple purement spéculatif pour illustrer l’intérêt de dé-contextualiser des recherches. N’hésitez pas à me dire que je suis hors de propos (en argumentant bien sûr). Il y a environ 4 ans, j’écrivais un billet sur les statines, alors montrées du doigt pour leur prescription au périmètre assez flou et parfois peu étayé. (Je ne me suis pas replongé dans la littérature sur la question, ce n’est pas le sujet ici). En me penchant sur les études considérées comme très fiables (sélectionnées par les collaboration Cochrane pour établir leurs recommandations), on pouvait trouver de larges essais cliniques au Japon, USA, Ecosse. Mais j’avais été surpris, interpellé, par cette carte, partagée par Dominique Dupagne :
Mortalité coronarienne (justement censée diminuer grâce à l’utilisation des statines)
On peut voir une très grande disparité de la mortalité coronarienne, qui est justement une des cibles des traitements par les statines. On passe ainsi d’environ 65 morts / 100 000 habitants en France, à plus de 367 pour toutes les zones en rouge sur la carte, comme l’Ecosse. Les USA ont pour leur part un taux d’environ 120 pour 100000 (voir ici). Le Japon a des chiffres similaires aux USA (voir ici). Ma question est simplement la suivante : compte tenu de ces disparités très importantes, comment peut-on savoir si les statines ont le même intérêt en France (ou Espagne, ou Italie…) qu’en Ecosse, Estonie, ou au Japon ? Avec de telles disparités, comment l’agence Européenne du Médicament prend ses décisions sur l’autorisation et la commercialisation de médicaments ? Il me manque sans doute des éléments de réponse sur ce point précis. Toujours est-il que de larges collaborations sur un même sujet (ici par exemple les statines), permettant une méthodologie commune (sur l’analyse de l’influence des statines sur la mortalité coronarienne) dans des contextes (sanitaires) distincts doit permettre des résultats plus fiables, plus généraux, et adaptés aux diverses situations (ici, aux divers pays, de pyramides d’âge et d’hygiène de vie différentes).
Apprenons à être exigeant envers nous-même, et valorisons ceux qui le sont
Le dernier pôle de proposition concerne l’exigence nécessaire dont les chercheurs doivent faire preuve lorsqu’ils médiatisent, publient leurs travaux. Les auteurs du manifeste parle en particulier de la formation : connaître les outils devrait être un préalable à leur utilisation. cela peut sembler d’une grande trivialité, mais je ne pense pas que beaucoup de biologistes maitrisent les statistiques qu’ils utilisent pourtant pour « valider » leurs expériences. Tout comme les chimistes ne maîtrisent que rarement les algorithmes de simulations des structures 3D des molécules. La formation, initiale et continue des chercheurs ne doit pas s’arrêter à quelques recettes de cuisines magiques de bidouille de quelques chiffres ou quelques boutons de machine, si on souhaite une littérature scientifique solide.
Il est également question de la valorisation, et même de l’obligation de suivi de protocoles contraignants à une approche rigoureuse. Ils s’appellent ARRIVE, TOP, CONSORT, PRISMA,… et tous sont prévus pour servir de standard de reproductibilité et de rigueur. Référencés sur le réseau EQUATOR , ces lignes de conduites doivent, pour Munafo et ses collègues être valorisées, imposées, que ce soit par les éditeurs scientifiques, mais également par les institutions scientifiques publiques, et les financeurs de la recherche.
Il est difficile de conclure sur ce manifeste. L’article est en libre accès (lien un peu pllus bas), et est beaucoup plus riche que ce que j’en ai tiré ici. À titre personnel, je ne suis pas pessimiste sur la question de la reproductibilité des études scientifiques, ou, de façon plus large, sur leur qualité. Je crois en la force du partage des connaissances, et en la capacité de la communauté scientifique de faire preuve d’une grande rigueur, ne serait-ce que pour être plus convaincante. Néanmoins, l’existence de conflits d’intérêts permanents, qu’ils trouvent leurs origines dans le registre financier ou ailleurs, est un problème récurrent dans cette quête d’une science rigoureuse : il me semble que le tout premier levier d’action contre cette « crise de la reproductibilité », c’est de donner, totalement, envie aux scientifiques de produire des savoirs fiables. Cela aussi est tellement trivial, qu’on l’oublie trop souvent.
« a Manifesto for Reproducible Science » M.R. Munafo et al. Nature Human Behaviour 1, 0021, 2017
(1) on pourra lire à ce sujet les articles suivant :
– Homo Fabulus : « Le Biais de Confirmation, élémentaire, mon cher Watson »
– Agence Science Presse : « Les biais cognitifs sont humains, les scientifiques aussi, donc… »
(2) à noter la création très récente de ChemRxiv, initiative de l’American Chemical Society, principale éditrice de revues (payantes) en chimie. Néanmoins, sa raison d’être n’est pas forcément si louable que cela…
