Pourquoi la zététique doit s’imposer l’Open Science

Article invité.

La défense de la pensée critique passe souvent par une apologie de la science, de ses accomplissements, de ses mérites, de son importance cruciale pour édifier une démocratie éclairée. Mais c’est au risque d’une idéalisation qui efface les vrais défis que la science doit relever pour être à la hauteur de la mission qui est la sienne. Nous devons exercer un regard critique sur la science et pas seulement sur les faux discours et épistémologies avariées. Encourager nos amis chercheurs & chercheuses à embrasser pleinement les exigences de l’Open Science fait partie des devoirs de la zététique. C’est ce que Nathanael Larigaldie est venu nous dire avec ce billet.

Acermendax

________

La zététique et la science

La zététique, depuis ses fondements initiaux jusqu’à la pratique contemporaine, entretient des relations étroites avec les outils scientifiques. Outils qu’elle tend à admirer, promouvoir, et au sein desquels ses principales méthodes sont extraites, afin de les appliquer à l’étude des phénomènes paranormaux en tout premier lieu (lire notamment « Le Paranormal » d’Henri Broch). Avec le temps le champ d’application s’est vu dériver vers une utilisation plus ou moins omnidirectionnelle afin de, comme cela est souvent présenté, pouvoir séparer le bon grain de l’ivraie de ses croyances et connaissances après avoir douté de ses certitudes.

Si les outils scientifiques peuvent assez bien s’appliquer dans les situations où la vérification et l’expérimentation directe sont possibles (c’est-à-dire le plus souvent dans les contextes d’investigation paranormale et de charlatanerie tels que le suggéraient justement Broch et ses premiers disciples), force est de constater que l’application concrète aux sujets plus complexes se limite finalement bien souvent à une injonction à suivre les conclusions des experts scientifiques dès que cela se révèle possible ; en particulier lorsqu’un consensus se dessine parmi ceux-ci.

L’injonction est simple et est pleine de bon sens : quiconque s’intéressant de près à un sujet de façon rigoureuse doit y dépenser énormément de temps, d’argent, accompagnés de longs apprentissages bien souvent pénibles de méthodes spécifiques et pointues. En somme, tout comme quasi-personne ne construit sa voiture en partant d’une clé à molettes et de bouts de taules dans son garage étant donné la colossalité de la tâche et achèterait plutôt sa voiture auprès d’une entreprise, il est pertinent pour quiconque d’utiliser la centralisation et spécialisation d’autrui comme base de connaissance prioritaire pour se former une opinion.

L’argument fait d’autant plus sens que, puisque les méthodes zététiques ont vocation à être empruntées à la science, le zététicien s’assure ainsi que les individus auxquels il accorde sa confiance pour étudier le monde à sa place utilisent des méthodes qu’il juge lui-même pertinentes pour l’étudier. À un certain degré, le scientifique pourrait être vu comme un zététicien ayant le temps, l’argent, le réseau et les incitations nécessaires pour étudier spécifiquement et dans le détail une quantité restreinte de domaines. Ou l’inverse, si l’on préfère cette lecture renversée : un zététicien serait finalement un scientifique amateur n’ayant généralement pas le temps ou les moyens d’étudier certaines (ou toutes) les méthodes complexes que la science utilise pour étudier le réel avec rigueur. En ce sens, la confiance par défaut accordée par la zététique à la science est une heuristique non seulement pertinente, mais également cohérente avec ses propres principes épistémologiques et sa vision proposée du monde.

Il n’y a pas loin à chercher pour observer ces parallèles entre la pratique scientifique et celle de la zététique. L’appel immédiat aux sources face aux affirmations sur les réseaux sociaux (que je surnomme parfois le « source bro? » pour faire un parallèle humoristique avec le plus répandu « source: trust me bro ») est une bonne illustration : les affirmations dans les publications scientifiques sont en général accompagnées d’une source afin de pouvoir juger de sa pertinence/crédibilité. Le fondement et la justification sont les mêmes (bien que l’utilisation de facto puisse être parfois sévèrement critiquée, dans un cas comme dans l’autre d’ailleurs).

Si vous estimez que ce qui est argumenté jusqu’alors est globalement vrai, alors vous devriez également être d’accord avec cette proposition : si la production scientifique ne suit en fait pas les préceptes que la zététique estiment être indispensables pour la création d’un savoir solide et rigoureux, alors l’heuristique de confiance par défaut envers la science ne fonctionne plus. Elle ne consisterait plus, en l’état, qu’à accorder une confiance disproportionnée à des individus ne respectant qu’à leur bon vouloir des principes épistémologiques et éthiques pourtant considérés comme indispensables pour la poursuite de l’étude du monde. En gros, conseiller de croire sur parole des gens dont l’argument central est un « trust me bro, j’ai un diplôme » déguisé. Ce qui serait contradictoire avec une idée un minimum rigoureuse d’esprit critique.

Non : lorsque la zététique conseille d’écouter la science, elle le fait en partant de la supposition que le système scientifique est au moins majoritairement un système basé sur de la rigueur intellectuelle, et non sur une chaîne de gens se faisant tous confiance sans vérifier les affirmations des collègues. Et que donc, par exemple, virtuellement aucun scientifique ne pourrait décemment écrire un papier prétendant avoir trouvé un effet statistique dans ses données sans que, quelque part dans le long et laborieux processus de collecte, analyse, écriture et publication des résultats, ses collègues directs et éloignés ne lui aient simplement demandé « source bro? ».

Et il se trouve, justement, que cela fait bien longtemps que toute une branche de la communauté scientifique tire une sonnette d’alarme qui ne retentit hélas que chez peu de gens : cette supposition est fausse bien, bien plus souvent qu’on le suspecte. Contrairement aux idées reçues, et attendez-vous à une intense déception si vous l’ignoriez avant, les données de l’extrême majorité des papiers scientifiques publiés ne sont jamais ni publiées, ni rendues accessibles aux autres chercheurs, même pendant la revue par les pairs, même lorsque cela est pourtant censément obligatoire pour certaines revues scientifiques, même lorsque d’autres scientifiques les demandent. Et là où la boucle du manquement de rigueur se boucle, c’est qu’il n’existe virtuellement aucune université au monde qui n’effectue le moindre contrôle pour vérifier l’intégrité de la collecte de données.

Je vais prendre un exemple. Imaginez un chercheur qui fait passer des questionnaires en ligne pour vérifier le lien entre partage de désinformation et orientation politique (exemple pris au hasard). Ce dernier rapporte un lien statistique entre certaines orientations et le partage de désinformation dans un article scientifique, publié dans une revue académique. Le plus souvent dans le fonctionnement scientifique contemporain, aucun individu au monde autre que l’analyste (et parfois certains de ses co-auteurs, mais c’est loin d’être une généralité) ne posera les yeux sur les données récoltées. Personne ne vérifiera jamais l’intégrité des données à une quelconque étape, et le plus souvent, même chose pour les analyses statistiques. Essentiellement, ce chercheur dit à l’intégralité de la communauté scientifique : « source: trust me bro ».

Si vous avez du mal à croire que ceci puisse arriver facilement, je vous invite à vous renseigner sur l’affaire entourant Francesca Gino (j’y ai notamment dédié un article de blog et un thread Twitter :

https://academia.hypotheses.org/51806  ;
https://twitter.com/NathLarigaldie/status/1687448236708057088.

Cette affaire montre notamment comment l’une des professeurs les plus reconnues de Harvard a très certainement falsifié une bonne partie de sa carrière grâce au fait que même ses très nombreux co-auteurs n’ont jamais vérifié, dans plusieurs papiers de recherche publiés dans d’excellentes revues, si elle effectuait son travail correctement. À titre personnel, je peux témoigner du cas récent d’un papier de recherche dont l’intégralité des analyses statistiques a été réalisée par un assistant de recherche, pré-PhD, ayant appris à faire ces analyses sur le tas alors qu’il n’avait aucune connaissance préalable sur le sujet. Ces analyses n’ont jamais été vérifiées par quiconque, le papier est à présent publié dans une revue bien réputée (entre autres sous le nom de l’un des chercheurs les plus réputés du labo de recherche où elle a été effectuée et du vice-recteur d’une autre université), et faisait partie d’un très gros projet prestigieux financé par les institutions européennes. Cette étude a bénéficié d’une communication de masse dans les médias, et a également été présentée dans des conférences et présentations destinées à informer les futures politiques européennes. Dans le cas de ce papier, le seul individu au monde ayant un jour approché l’analyse statistique sur laquelle repose l’intégralité des conclusions du papier est donc un assistant de recherche qui n’a travaillé dans ce labo que pendant 6 mois avant de quitter le monde académique (et en est d’ailleurs sorti dégoûté par le manque de rigueur). Absolument aucun lecteur de l’article se contentant de faire confiance au process scientifique n’a de moyen de savoir que les points majeurs de l’article réclamant les compétences les plus pointues ont été confiés à un junior, sans vérification de la qualité de son travail par ses seniors. Ce papier, sorti il y a moins d’un an, comptabilise déjà plusieurs dizaines de citations. Je ne pense pas que quiconque ait ce genre de processus en tête lorsqu’il imagine la « rigueur scientifique ».

Demandez-vous : en tant que zététicien, croiriez-vous les conclusions d’un individu sur Twitter disant « j’ai récolté des données que j’ai analysées, mais je ne vous donnerai accès ni aux données ni aux analyses, et ce même si vous êtes, vous aussi, expert du domaine en question. Je vais juste vous les décrire. Et ma conclusion sur le sujet dont nous parlons est […] » ? Bien sûr que non, pas en se revendiquant de l’esprit critique. La seule raison pour laquelle nous acceptons les articles scientifiques comme faisant preuve d’un plus grand degré de fiabilité est que nous imaginons qu’il est absolument évident que le processus scientifique implémente quelque chose, n’importe quoi, pour éviter de devoir juste compter sur ce genre de confiance aveugle. Face à cette affirmation, un zététicien devrait normalement réclamer qu’on lui apporte une preuve que le système fonctionne correctement et tel qu’il l’attend. Et ça tombe bien, puisqu’il existe un champ de recherche (la métascience) qui étudie ce genre de choses. Ce qui tombe vachement moins bien, c’est que quand on vérifie, on se rend en fait compte que nous avons seulement fait appel à ce qui nous semble être du sens commun qui ne se vérifie pas dans la réalité.[1]

Ainsi, pour continuer sur la lancée de l’opacité des données, une analyse (Hardwicke et al., 2021) menée entre autres par Tom Hardwicke et John Ioannidis (le même Ioannidis que le fameux « Why most published research findings are false ») montre qu’en psychologie, sur un échantillon d’études prises au hasard entre 2014 et 2017, seulement 2% partagent les données brutes récoltées dans l’étude, et 1% partagent le code des analyses statistiques réalisées.

Bien que ça y ressemble furieusement, je vous assure que ce n’est pas un cauchemar. En psychologie, et un constat similaire émerge progressivement dans les autres disciplines, 99% des études rapportent bel et bien des statistiques en disant « on a fait telle et telle analyse, et ça a donné tel et tel résultat. Voilà, croyez-nous sur parole quand on vous dit qu’on l’a vraiment fait, et qu’on a fait ça sans erreur ». Et ça va plus loin, puisque Hardwicke et Ioannidis ont également réalisé la cascade suivante : prendre les 111 études en psychologie et psychiatrie les plus citées entre 2006 et 2016, et demander aux auteurs d’avoir accès à leurs données lorsqu’elles n’étaient pas fournies. Ils ont ainsi pu récolter les données pour 14% des articles (Hardwicke & Ioannidis, 2018).

Hardwicke et Ioannidis sont des collègues chercheurs, reconnus de surcroît. Cette étude martèle le terrible constat qu’il est urgent de véhiculer au plus vite : même lorsque des collègues chercheurs demandent « Pardon, mais est-ce qu’on peut jeter un œil à vos données pour vérifier ? », soit une forme parfaitement saine de « source bro? » en plein cœur d’une science censée être rigoureuse et autocorrective, dans 86% des cas les données ne seront jamais transmises à quiconque. Les raisons sont multiples : refus sans explication, « les données ont été perdues », « le chercheur responsable de la gestion des données est décédé et personne d’autre ne les a », etc, etc… De la science sérieuse bien comme on l’aime, donc.

Un zététicien, et même tout citoyen un minimum à cheval sur la rigueur intellectuelle refuserait sans doute catégoriquement la conclusion d’une personne disant lors d’une discussion qu’il a des données et qu’il a fait des analyses qui lui donnent raison, promis juré craché, mais qu’il a laissées dans son autre pantalon. Il militerait même probablement activement auprès du grand public pour ne jamais accepter ni produire une argumentation aussi faible. Au nom de quel principe méthodologique devrions-nous donc accepter ceci de la part de gens sous prétexte qu’ils font partie d’une institution alors même que cette institution ne fait aucun effort pour garantir l’intégrité du processus de récolte de données ?

De mon côté, je me revendique comme faisant partie d’une sous-communauté grandissante au sein de la science qui estime que les principes de transparence et de responsabilité sont bel et bien censés également être vrais dans le milieu scientifique. Communauté dont la devise progressivement adoptée ces dernières années est « Nullius In Verba », ce qui se traduirait globalement par « ne croire personne sur parole ». Sous bien des égards (que je ne peux malheureusement tous développer ici, sous peine d’écrire un livre plutôt qu’un billet de blog), elle est le penchant purement scientifique du scepticisme. J’ai nommé : l’Open Science.

L’Open Science

J’ai remarqué dernièrement que pour beaucoup, il y a une assimilation quasi-totale de l’Open Science à l’Open Access, comme si la caractéristique principale de l’Open Science était l’ouverture des articles scientifiques au grand public sans avoir à payer la revue scientifique. En réalité, l’Open Science se propose comme l’intégration d’une constellation d’outils, de pratiques et de standards pour améliorer (entre autres) la transparence et la fiabilité de la démarche scientifique. En définitive, l’Open Access n’est qu’une seule de ces nombreuses facettes, et celle-ci n’est pas considérée comme la plus essentielle par la plupart des promoteurs de l’Open Science.

Ainsi, pour prendre quelques exemples rapides, les open scientists considèrent-ils que l’erreur est humaine, et que se tromper arrive à tout le monde. Conséquemment (et pour bien d’autres raisons encore), ils élèvent au rang de standard le fait de fournir les données et le code des analyses statistiques pour permettre à d’autres de vérifier s’ils n’ont pas fait d’erreur. Comme ils estiment également que la réplication est importante pour valider la solidité des conclusions, ils fournissent également tout le matériel de leurs études afin de pouvoir les reproduire telle quelles sans faire perdre son temps à tout le monde.

Cela vous semble être un principe scientifique de base et vous imaginiez que c’est comme ça que la science fonctionne en général sans avoir besoin que ne se fonde un mouvement interne qui essaie de se faire entendre tant bien que mal ? Vous n’êtes pas le seul. Tous les scientifiques à cheval sur la rigueur que je connais ont eu la même désillusion en démarrant leur carrière de recherche. Et pourtant, la communauté Open Science est encore minoritaire au sein du fonctionnement scientifique, malgré des décennies de recherche sur les problèmes mentionnés plus haut, et malgré les plaidoyers d’organisations nationales et internationales à l’adoption des principes souvent évidents qu’elle défend (e.g. premier lien, deuxième lien, troisième lien).

De nombreux scientifiques gravitent autour des communautés sceptiques, parfois en tant qu’invités d’émissions, ou qui parfois eux-mêmes font des études et/ou interventions publiques mentionnant l’existence du biais de confirmation, et que personne n’en est à l’abri. Or, même au sein de cette orbite, le préenregistrement d’études est toujours marginal alors que cet outil est spécifiquement conçu pour réduire significativement le biais de confirmation des scientifiques lors de leurs études (Nosek et al., 2018). Similairement, aucun de ces scientifiques ne niera qu’il est facile de se tromper. Et pourtant, presque aucun ne fournit ni ses données originales, ni son code complet, pour pouvoir vérifier ses travaux. Comment justifier correctement que les scientifiques proches du mouvement sceptique ne soient pas instantanément les meilleurs élèves sur la transparence et la rigueur de leurs travaux ? Doit-on accepter les scientifiques qui disent au peuple qu’il faut avoir de l’esprit critique et qu’il faut vérifier les informations, mais ne permettent pas à leurs collègues experts de vérifier leurs informations à eux ? En tant que scientifique et sceptique, nous portons en nous la responsabilité de crier haut et encore plus fort que les autres « Nullius in Verba », nous compris. J’enjoins le reste des scientifiques n’était pas encore 100% Open Science à emboîter le pas de ceux qui l’ont déjà fait sans plus attendre (et à me contacter s’ils ont besoin de la moindre aide pour démarrer !).

Du côté non-scientifique, il est à présent indispensable de commencer à réclamer des scientifiques qu’ils suivent ces pratiques pour que nous prenions en compte leurs études et leur avis, et de systématiquement demander pourquoi ils ne le font pas le cas échéant. Après des années de pratique scientifique, je peux vous assurer qu’il n’existe aucune justification véritablement satisfaisante pour expliquer l’absence combinée de données, code, matériel et de préenregistrement dans la quasi-totalité des études expérimentales. Dans la majorité des cas, la réponse ne sera rien de plus que « nous n’avons pas eu le temps de le faire », « nous avons oublié », ou « nous ne savions pas ». Je fais semblant de laisser le lecteur seul juge d’estimer la crédibilité à accorder à une étude dont l’investigateur admet ouvertement qu’il a pris des raccourcis dans sa méthode dans l’objectif de publier ses conclusions plus vite afin de favoriser sa carrière ou son influence politique plutôt que la rigueur, qui oublie d’utiliser des outils méthodologiques pourtant faits pour assurer la fiabilité de ses résultats, ou qui ignore leur existence. Ceci devrait suffire à convaincre n’importe quelle personne estimant que la rigueur est indispensable à la crédibilité, du bien-fondé assez clair de la démarche que je propose.[2]

Tout comme nous ne partagerions pas l’avis d’un individu sur Twitter disant « j’te jure, j’ai fait des analyses et j’ai raison, t’as pas besoin de vérifier quoique ce soit ! », cessons de faire la promotion d’études qui ne fournissent ni leurs données, ni leurs analyses, ni le matériel de reproduction, et n’ont pas été pré-enregistrées lorsque cela était réalisable. Surtout lorsque l’on vient d’insister auprès de nos interlocuteurs que la science fonctionne grâce à la réduction du biais de confirmation (très contestable si pas de pré-enregistrement), de la réplicabilité (très contestable si pas de matériel de reproduction) et de la possibilité de vérifier les erreurs (très contestable si ni données ni analyses). Ce sont des critères simples à suivre et à vérifier, des heuristiques qui ne sont pas nécessairement plus compliquées à implémenter que ce qu’un tuto de Defakator pourrait publier sur Youtube.

Je pense avoir montré, au moins partiellement, qu’un zététicien ne réclamant pas que les études auxquelles il se fie suivent les principes de l’Open Science dès que cela est possible trompe en réalité ses propres principes initiaux et se retrouve dans une posture incohérente : il réclame en effet d’inconnus sur internet lors  de discussions publiques un standard de rigueur comparativement supérieur à celui qu’il réclame pourtant à ceux qui lui procurent du savoir, et qui influencent les décisions politiques et  technologiques sous le prétexte que la personne qui a émis la conclusion détient une fiabilité décernée par la détention d’un grade académique ou un emploi salarié dans un centre de recherche. Soyons meilleurs que ça, et réclamons plus des institutions qui viennent ensuite expliquer aux citoyens et aux responsables politiques ce que nous sommes censés penser.

Si vous êtes sages, je tâcherai de développer avant longtemps bien plus d’exemples démontrant l’absolue nécessité de l’Open Science tant dans la production que dans l’évaluation de la science contemporaine. Parce que, trust me bro, je n’ai malheureusement fait ici qu’effleurer la pointe de l’iceberg.

Nathanael Larigaldie, PhD

______________________

[1] Notez que les sources que je vais prendre ici, qui sont des plus alarmantes, concernent majoritairement la psychologie. Mais les tendances actuelles montrent que le problème est également présent entre autres en biologie et en médecine. La raison principale pour laquelle la psychologie a toujours le plus de données disponibles concernant ces échecs n’aurait pas pour cause, contrairement à la croyance populaire, que la psychologie dysfonctionne particulièrement plus que le reste. Ce serait plutôt parce que les psychologues acceptent plus facilement la critique de leur discipline, et que l’information est beaucoup moins difficile à faire circuler parce qu’elle est moins alarmante pour le grand public. Mais les initiatives cherchant à évaluer la réplicabilité des études en biologie du cancer, par exemple, y montrent un état absolument calamiteux encore bien pire que celui de la psychologie sociale (e.g. Errington et al., 2021). Ouille.

[2] Note importante : Un passe-droit est à accorder aux études anciennes, pour lesquelles les outils et les formations n’étaient pas encore si facilement disponibles pour l’Open Science. Je place personnellement cette limite arbitrairement à partir de ~2010-2015. Ce qui est certain, c’est qu’il n’est plus excusable pour une étude expérimentale sortant en 2023 de ne présenter ni préenregistrement, ni code, ni données brutes, ni matériel dédié à la reproduction (dans les situations où cela s’applique bien évidemment). Une étude publiée de cette manière devrait dorénavant immédiatement provoquer une dose importante de suspicion quant à son sérieux et sa pertinence au sein de la littérature scientifique