« Pas de dérive à signaler » : sauf dans l’étude Berna et al.

L’étude Berna & al. : Quand les promoteurs jugent leurs propres pratiques

Sur Twitter / X, la contributrice sceptique MmeBlackSheep -en collaboration avec Mathieu Porzio et Laurence Guenoun- a fait le travail de débunker complètement une étude qui fait, sans le dire, la promotion des fausses médecines. Je me contente de retranscrire son analyse. Comprendre les biais de cette étude est utile pour prendre la mesure du problème d’une conférence qui vient d’avoir lieu à Strasbourg.

Son travail est consultable ici :

• Partie 1 https://x.com/MMeBlackSheep/status/1731253335678697899
• Partie 2 https://x.com/MMeBlackSheep/status/1731258606253662440

Avant même d’analyser la méthode de l’étude prépubliée sur medRxiv par Fabrice Berna et ses co-auteurs (2023), il est indispensable de comprendre qui parle, et avec quelles attaches. Car cette prétendue analyse neutre sur les « dérives » dans les médecines non conventionnelles est en réalité signée par des personnalités au cœur des réseaux qui les promeuvent activement.

L’étude a pour réfrence : Berna, Fabrice & Florens, Nans & Verneuil, Laurence & Paille, Francois & Berna, Chantal & Nizard, Julien. (2023). An explosion of alternative medicines in France! Media-biased polyphonic epidemiology vs. evidence-based data. 10.1101/2023.09.03.23294995. LIEN. L’objet principal de cette étude est de contester une « explosion » du recours aux PSNC, et de se plaindre d’une ouverture médiatique constamment à charge contre ces pratiques. Or le mot « explosion » est introuvable, et jamais cité par les auteurs. Quand aux médias, leur complaisance avec les « médecines alternatives » est absolument indéniable : la communauté sceptique est souvent décrite comme un groupe de gens qui passent leur temps à râler après les émissions mal fichues.

Réseaux et conflits d’intérêts : un entre-soi bien tissé

• Fabrice Berna, psychiatre à Strasbourg et premier auteur de l’étude, est membre fondateur de l’Institut de Pleine Conscience, un organisme académique affilié à l’Université, proposant un DU “Médecine, Méditation et Neurosciences”, dont la légitimité scientifique reste contestable. Source
• Cet institut entretient des liens directs avec le pôle HEC-Spiritualité, à l’intersection du chamanisme, du développement personnel et du coaching en entreprise — des thématiques très prisées dans les milieux de la « médecine intégrative ». [Source 1] [Source 2]
• Parmi les co-auteurs, on retrouve François Paille, médecin addictologue, qui a publié un texte évoquant l’épidémie de Covid-19 sous l’angle du « terrain », une vision largement inspirée de Béchamp, opposé historique de Pasteur, aujourd’hui réhabilité par de nombreux courants pseudo-médicaux. [Source 1],[Source 2]

Le GETCOP : entre ésotérisme, fakemed et médecine « intérieure »

François Paille est aussi président du GETCOP (Groupe d’Évaluation des Thérapies Complémentaires Personnalisées), un collectif aux liens étroits avec des pratiques ésotériques, pseudo-médicales et parfois dangereuses. Il y intervient dans des événements de promotion du shiatsu traditionnel [Source 1]?

Le GETCOP valorise sur son site la biologie totale ou « médecine nouvelle germanique » de Ryke Geerd Hamer — une pratique meurtrière, interdite dans plusieurs pays, qui attribue le cancer à des conflits psychiques non résolus.
(Voir ici). Le site valorise également la médecine anthroposophique, avec une fiche dédiée.

Une page entière sur les « traitements » contre le Covid-19 met en avant la sophrologie, l’acupression auriculaire ou la méditation pleine conscience. [Source]

Le congrès annuel du GETCOP est organisé avec la participation de l’AREMA, association de recherche en médecine anthroposophique, et comporte des interventions sur le tantra yoga, entre autres perles. [Source 1], [Source 2].

Un écosystème qui déteste… la Miviludes

Ce tissu institutionnel, associatif, universitaire et spirituel s’oppose frontalement à la Miviludes, qui depuis 2020 a renforcé sa vigilance sur les dérives thérapeutiques à visée sectaire. Le rejet de cette autorité transparaît dans les écrits, les formations et même… l’objet de l’étude que les auteurs signent. Nous constatons donc très vite que cette étude n’est pas signée par des chercheurs extérieurs au débat. Elle est produite par des acteurs impliqués dans la promotion des pratiques qu’ils prétendent objectivement évaluer. Cela pose un biais majeur, rarement signalé par les médias ou les institutions lorsqu’ils relaient cette étude.

Outre les conflits d’intérêts majeurs, l’étude de Fabrice Berna et collaborateurs publiée sur medRxiv souffre de biais méthodologiques flagrants. Le fil de @MMeBlackSheep propose un debunk rigoureux et chiffré, que nous reprenons ici point par point.

Des proportions pour masquer l’augmentation

Les auteurs comparent les proportions de saisines en santé par rapport à l’ensemble des saisines reçues par la Miviludes sur une période donnée. Problème : cette méthode noie l’augmentation réelle du nombre de signalements en santé dans des pourcentages globaux. Ce que MmeBlackSheep dénonce clairement : « Au mieux une erreur méthodologique, au pire une manipulation. »

➡️ Pour mesurer correctement l’évolution des alertes concernant les dérives en santé, il faut considérer les nombres bruts de saisines santé, pas leur proportion.

Aucune analyse statistique — mais des conclusions « significatives »

Les auteurs affirment que certaines évolutions ne sont pas « significatives ». Or, aucun test statistique n’est réalisé ni mentionné dans leur travail. MmeBlackSheep, à l’inverse, effectue un test de Kendall (test non paramétrique de tendance) sur les données de saisines santé de la Miviludes entre 2010 et 2021.

Résultat : la tendance est significativement à la hausse. Cette conclusion est donc formellement contredite par les données qu’ils utilisent eux-mêmes.

Bibliométrie : fantasmes et opacité

Autre terrain glissant : l’analyse des médias. Les auteurs comparent l’évolution des mentions de termes comme « homéopathie », « naturopathie », etc., dans la presse nationale et la littérature scientifique. Mais ils n’analysent pas le contenu des articles (positif ? neutre ? critique ?). Ils n’effectuent aucune analyse statistique des courbes présentées. Ils postulent une hostilité médiatique sans jamais en apporter la preuve.

MmeBlackSheep montre au contraire, à partir des mêmes données, que les mentions des PSNC augmentent significativement dans les médias français, ainsi que dans la littérature scientifique.

Sur la méthode : quand les auteurs réinventent la science

L’analyse bibliométrique proposée par Berna et al. repose sur plusieurs biais méthodologiques majeurs. D’abord, le choix des sources est problématique : les auteurs se concentrent sur la presse nationale française, sans justification de la pertinence scientifique de ce corpus, ni prise en compte de la diversité des médias ou de leur traitement éditorial des médecines alternatives.

Ensuite, les auteurs affirment que certaines tendances sont ou ne sont pas « significatives » sans jamais avoir recours à une analyse statistique. Aucune p-value, aucun intervalle de confiance, aucun test n’est fourni. Ce simple fait invalide toute affirmation de significativité dans leurs résultats.

Enfin, un point central soulevé par MmeBlackSheep : les auteurs utilisent des proportions plutôt que les données brutes, notamment pour les saisines santé de la Miviludes. Ce choix est critiqué car il dissimule une augmentation réelle du nombre de signalements sous couvert de stabilité relative. Cette approche revient à noyer une tendance forte dans un indicateur dilué, ce qui peut tromper sur l’ampleur d’un phénomène.

Ces failles méthodologiques ne relèvent pas de simples maladresses : elles affectent directement la validité des conclusions de l’étude, qui prétend rejeter une augmentation des dérives… alors que leurs propres données, bien exploitées, montrent l’inverse.

Récapitulatif des biais identifiés

1. Postulat idéologique non prouvé : les médias seraient hostiles aux PSNC, sans aucune analyse de contenu à l’appui.
2. Bibliométrie mal fondée : elle ne montre que l’évolution d’un intérêt quantitatif, pas qualitatif.
3. Aucune statistique : les auteurs utilisent des termes comme “significatif” sans avoir procédé à aucun test.
4. Usage douteux des proportions : préférées aux données absolues, elles peuvent masquer des hausses réelles.
5. Contradictions internes : leurs propres données vont à l’encontre de leurs conclusions.
6. Conclusions invalidées : les extrapolations de l’étude ne tiennent ni méthodologiquement, ni empiriquement.

Concluons

L’étude de Berna et al. (2023) présente de sérieuses lacunes : elle ignore les outils statistiques de base, repose sur des biais de confirmation flagrants et est portée par des auteurs directement impliqués dans la promotion des pratiques évaluées. Elle coche ainsi toutes les cases d’une pseudo-étude construite non pour explorer un phénomène, mais pour minimiser l’ampleur des dérives dans les médecines non conventionnelles.

Elle ne satisfait ni aux exigences méthodologiques de la recherche scientifique, ni à celles de la transparence sur les conflits d’intérêts. Sa diffusion dans le débat public — en particulier par les promoteurs des PSNC — devrait être abordée avec la plus grande prudence. Il en va de la crédibilité de la recherche universitaire.