An 2011 — Précognition et porno : la science en PLS ?

Ou comment une étude bizarre a révélé quelque chose… mais pas ce que vous croyez.

En 2011, le psychologue Daryl Bem, professeur émérite à Cornell, publie une étude qui fait l’effet d’un séisme dans le monde de la psychologie expérimentale. Le titre est sobrement provocateur « « Sentir le futur : Preuve expérimentale d’influences rétroactives anormales sur la cognition et l’affect » »[1]

En clair, Bem affirme avoir trouvé des preuves de précognition : la capacité de notre cerveau à percevoir un événement avant qu’il ne se produise. Genre Jedi, mais en blouse blanche.

Parmi les expériences présentées, une en particulier fait jaser. Des volontaires sont assis devant deux écrans d’ordinateur. Sur l’un des deux, une image va apparaître. Leur mission ? Deviner quel écran s’allumera. Petit détail diabolique : le dispositif aléatoire qui opère le choix de l’affichage n’est déclenché qu’après la réponse du sujet. Cela signifie que s’il y a un taux de réussite supérieur au hasard, cela suggérerait une forme de rétrocausalité.

Et la surprise de cette étude, la voici : quand l’image est à caractère érotique, les participants se trompent moins souvent que le hasard ne le voudrait. Leur taux de réussite dépasse le 50 % attendu, comme s’ils « sentaient » inconsciemment l’arrivée d’un stimulus sexy, venu du futur.

Une bombe médiatique… et une alerte méthodologique

Le papier est publié dans une revue de référence (Journal of Personality and Social Psychology), normalement très rigoureuse. C’est un coup de tonnerre. Bem aurait démontré l’existence d’une rétrocausalité, et il est invité dans de grandes émissions américaines pour présenter ces résultats épatants (MSNBC et Colbert Report[2]) Les parapsychologues crient victoire. Les sceptiques s’étouffent dans leur café. Et les méthodologistes lèvent un sourcil inquiet.

Le hic avec cette étude qui semble prouver que le cerveau peut voyager dans le temps, c’est qu’elle pourrait en réalité prouver que notre manière de faire des sciences comportementales est fragile.

La réponse la plus cinglante ne vient pas d’un sceptique de salon, mais d’un psychologue reconnu et spécialiste de la parapsychologie : le canadien James Alcock. Dans son article intitulé Back from the Future: Parapsychology and the Bem Affair (2011), il ne se contente pas d’exprimer son désaccord : il décortique point par point la structure de l’étude de Bem, et révèle ses fondations pour le moins friables.

Il faut ajouter que Bem avait déjà défendu l’existence du Psi dans des travaux de 1994 et que les critiques avaient montré des erreurs, une mauvaise conception expérimentale et un choix discutable des données de la littérature scientifique dans sa discussion… et donc des conclusions audacieuses et non fiables.

Alcock parle de « tubes à essai mal rincés » pour illustrer l’idée que même avec la meilleure des intentions, une recherche peut être viciée si sa méthodologie est mal contrôlée. Il identifie plusieurs failles :

1. Modifications du protocole en cours de route

Certaines procédures expérimentales ont été modifiées au fil des expériences, parfois même pendant les essais. Alcock souligne que changer les règles en cours de partie (par exemple : changer le nombre de répétitions, les critères de sélection, ou l’ordre des stimuli) introduit des biais majeurs. Cela ouvre la porte à une « cuisine des résultats » a posteriori.

2. Combinaison de résultats hétérogènes

Bem ne présente pas une grande expérience bien cadrée, mais neuf petites études qui varient sur les détails (types de tâches, stimuli, mesures). Certaines produisent des résultats légèrement significatifs, d’autres non. Bem les agrège pourtant dans une analyse globale, comme si elles appartenaient à un même protocole cohérent. Alcock dénonce ici une fusion artificielle de résultats non comparables, ce qui peut conduire à des artefacts statistiques (on parle de P-hacking : le cumul de petits effets pour en faire un significatif, et c’est un biais méthodologique bien connu[3])

3. Sélection post hoc des expériences retenues

On ne sait pas combien d’études négatives ou non concluantes ont été conduites mais non rapportées. Il est donc impossible de mesurer si l’effet observé n’est pas simplement un artefact du tri sélectif – le fameux biais de publication ou effet tiroir qui se produit quand on ne publie que les résultats positifs.

4. Aucune vérification indépendante

Alcock souligne que les expériences n’ont pas été pré-enregistrées, ni soumises à une vérification ou une révision de protocole par des pairs avant la publication. Il n’y a donc aucun garde-fou contre l’ajustement inconscient des hypothèses ou des critères d’interprétation selon les résultats observés.

5. Manipulation statistique et seuils de significativité

L’article de Bem utilise abondamment des tests de significativité (p-values), mais sans contrôle de la multiplicité. Quand on effectue de nombreux tests (et Bem en fait beaucoup), la probabilité d’obtenir un faux positif augmente fortement. Alcock accuse Bem de ne pas avoir appliqué les corrections statistiques nécessaires (comme la correction de Bonferroni), ce qui gonfle artificiellement l’impression de découverte.

6. Mesures vagues, interprétations extensives

Alcock critique le fait que certains résultats sont vagues et peuvent facilement prêter à surinterprétation. Par exemple : des participants auraient vu « quelque chose d’érotique »… mais qu’est-ce que ça veut dire concrètement ? Les catégories de réponses sont floues, les critères d’évaluation ambigus. Cela permet à Bem de « voir » un effet lié à l’érotisme perçu par les sujets là où il n’y en a peut-être pas.

Conclusion d’Alcock

Pour résumer, Alcock affirme que quasiment chaque aspect méthodologique qui pouvait poser problème dans les expériences de Bem pose effectivement problème. Il ne s’agit donc pas d’un désaccord philosophique sur la possibilité de la précognition, mais d’une démonstration rigoureuse que les résultats rapportés ne tiennent pas debout scientifiquement. À ses yeux, Feeling the Future est moins une preuve de perception extrasensorielle qu’un cas d’école d’erreurs expérimentales cumulées – et un symptôme frappant des failles systémiques dans la recherche en psychologie expérimentale, appelant à une réforme en profondeur de ses pratiques méthodologiques.

En 2017, Daryl Bem répond à une interview pour Slate : « Je suis pour la rigueur, mais je préfère que d’autres la pratiquent. Je comprends son importance – c’est amusant pour certains – mais je n’ai pas la patience pour cela ». L’article se poursuit : « Il lui a été difficile, dit-il, d’évoluer dans un domaine où les données comptent autant. « Si vous regardez toutes mes expériences passées, elles ont toujours été des outils rhétoriques. J’ai rassemblé des données pour montrer comment j’allais faire valoir mon point de vue. J’ai utilisé les données comme moyen de persuasion, et je ne me suis jamais vraiment inquiété de savoir si cette expérience allait être reproduite ou non. »

L’aveu est transparent, Daryl Bem n’a jamais eu l’intention de produire des connaissances, mais seulement d’argumenter en faveur de sa vision des choses. Et c’est assez éloigné de ce que la science est censée être.

Conséquences ?

Par la suite personne n’a réussi à reproduire les résultats de Daryl Bem. Des dizaines de laboratoires, des protocoles identiques, des volontaires à la pelle… et aucun effet significatif. Et voici l’effet du porno magique qui disparaît[4]. Dommage, cela ouvrait la porte à des recherches fantastiques.

L’article de Bem et la critique précise, méthodique et cuisante d’Alcock ont contribué fortement à révéler la « crise de la réplication » qui faisait déjà rage en psychologie[5].  Ironie mordante : Bem n’avait sans doute pas vu à l’avance comment son étude pouvait contribuer à faire évoluer son champ de recherche.

Point de vue zététique : la commensurabilité.

En parapsychologie il existe des travaux aux résultats positifs. A l’échelle d’une étude on arrive parfois à la conclusion qu’il existe quelque chose, un phénomène, qui ne relève du hasard que le protocole permet d’écarter. En général on adore conclure qu’on a une preuve de l’existence de la télépathie ou de la clairvoyance etc. La réponse, comme on l’a vue réside dans la définition de ce hasard que le protocole permet d’écarter : la crise de la reproductibilité en psychologie nous a montré qu’il y avait de grosses lacunes dans ce que le protocole ne réussit pas à écarter. Mais on n’a pas besoin de maîtriser les statistiques et les arcanes de la significativité des résultats pour saisir le problème fondamental de ces travaux : l’incommensurabilité entre les fifrelins de pourcentages de résultats obtenus et le phénomène paranormal qui est censé être visible, connu, répertorié, détecté par des gens non équipés de calculatrices. C’est comme si un homme prétendant pouvoir bouger par la puissance de son esprit une locomotive de TGV réussissait en laboratoire à faire frémir une feuille d’aluminium observée au microscope sans qu’on sache expliquer comment elle bouge, et qu’on choisissait de considérer qu’on vient d’apporter une preuve qui va dans le sens des capacités à faire avancer un train.

C’est le marasme intellectuel dans laquelle baigne très souvent la parapsychologie : la communication malhonnête de conclusions sur des phénomènes macroscopiques fondées sur des résultats statistiques d’une faiblesse sans commune mesure avec les phénomènes allégués.

Ce que ces résultats étonnant nous montrent reste néanmoins très important, et cela dépasse largement le cas des phénomènes paranormaux. Une expérience comme celle de Bem nous montre qu’on peut publier des études qui concluent à l’existence de ce qui n’existe pas, et donc que la science telle qu’elle est pratiquée n’applique pas une méthodologie assez stricte pour nous éviter de croire des chimères « scientifiquement prouvées ».

Aujourd’hui encore, certains continuent de citer cette étude comme « preuve » de l’existence de la précognition. C’est fascinant… et inquiétant.

On n’est plus en 2011 !

Acermendax

Quelques références pour approfondir la question

• Alcock, J. E. (2011). Back from the Future: Parapsychology and the Bem Affair. Skeptical Inquirer, 35(2), 31-39.
• Bem, D. J. (2011). Feeling the Future: Experimental Evidence for Anomalous Retroactive Influences on Cognition and Affect. Journal of Personality and Social Psychology, 100(3), 407–425. https://doi.org/10.1037/a0021524
• Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), aac4716. https://doi.org/10.1126/science.aac4716
• Nosek, B. A., Ebersole, C. R., DeHaven, A. C., & Mellor, D. T. (2018). The preregistration revolution. Proceedings of the National Academy of Sciences, 115(11), 2600–2606. https://doi.org/10.1073/pnas.1708274114
• Wagenmakers, E.-J., Wetzels, R., Borsboom, D., & van der Maas, H. L. J. (2011). Why psychologists must change the way they analyze their data: The case of psi. Journal of Personality and Social Psychology, 100(3), 426–432. https://doi.org/10.1037/a0022790
• Rosenthal, R. (1979). The file drawer problem and tolerance for null results. Psychological Bulletin, 86(3), 638–641.

[1]Bem, D. J. (2011). Feeling the future: Experimental evidence for anomalous retroactive influences on cognition and affect. Journal of Personality and Social Psychology, 100(3), 407–425. https://doi.org/10.1037/a0021524

[2] « Professor: Strong evidence ESP is real ». NBC News. 2008-01-23. Archived from the original on January 29, 2013. Retrieved January 30, 2011.

« The Colbert Report: January 27, 2011 — Brian Greene ». Comedy Central. 2008-01-23. Retrieved January 30, 2011.

[3] Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science, 22(11), 1359–1366. https://doi.org/10.1177/0956797611417632

[4] Galak, J., LeBoeuf, R. A., Nelson, L. D., & Simmons, J. P. (2012). Correcting the past: Failures to replicate Bem (2011) suggest the original results were false positives. Journal of Personality and Social Psychology, 103(6), 933–948.

[5] Fanelli, D. (2010). « Positive » results increase down the hierarchy of the sciences. PLoS ONE, 5(4), e10068. https://doi.org/10.1371/journal.pone.0010068