Encore un (mauvais) sondage sur les croyances complotistes

En préliminaire, une déclaration de biais potentiels de ma part. Je réagis à ce sondage à chaud et en ayant à l’esprit les nombreux défauts du précédents, j’ai un a priori négatif sur ce travail parce que je n’ai vu nulle part de mea culpa de la part des auteurs concernant le sondage de 2018, pas la moindre reconnaissance des critiques formulées tandis que toute la presse française se faisait le relais hyperactif d’une information faussée. Mon avis est d’emblée plutôt négatif parce que ce sondage 2019 en reprend la structure dans le grandes lignes et s’entête à réduire en quelques images une lecture politique qui va, au moins dans une large partie des interprétations qu’il suscitera, pointer du doigt des familles politiques et escamoter la dimension sociale et épistémologique de la crise dans le rapport au réel que représente le conspirationnisme endémique. La critique qui suit est donc sévère et à charge, peut-être trop, non pas par rejet du travail de Conspiracy Watch mais au contraire par peur que le travail important qu’ils ont choisi de faire soit entaché durablement par le soupçon d’être orienté et trompeur, et par contagion que l’ensemble de ceux qui ont une activité de « lutte » contre les idéations conspirationnistes s’en trouvent plus mal qu’avant. On ne peut pas se le permettre.


L’an dernier, j’ai eu l’occasion de montrer les nombreuses failles d’un sondage Ifop – Conspiracy Watch – Fondation Jean Jaurès, que l’on a vu se répandre dans absolument tous les médias.

Aujourd’hui ça recommence ? Les auteurs ont tenu compte de quelques critiques, (j’apprends qu’ils ont reçu des conseils de scientifiques que je respecte) mais on retrouve dans l’ensemble les mêmes tares rédhibitoires qui rendent tous les résultats inexploitables, car ils sont orientés, caricaturaux, et présentés avec ce qui ressemble à l’intention de délivrer un message politique. Si tel n’était pas le cas, des corrections plus sérieuses auraient été apportés suite aux critiques du sondage de 2018.

Regardons ensemble une série non exhaustive de failles dans ce nouveau sondage.

À la question « les Illuminatis sont une organisation secrète qui cherche à manipuler la population » je réponds OUI, ce qui me donne un point de « croyance complotiste ». Et pourtant Oui est la bonne réponse car c’est bien la définition des illuminatis dans la culture populaire. La réponse n’implique pas que je crois qu’ils existent pour de vrai. Je réponds également OUI à « Les Jedis sont les ennemis des Siths ».

La question est mal posée. La réponse ne vaut rien.

Deuxième question à laquelle je réponds OUI également : il faut en effet être initié pour reconnaître les symboles associés aux théories du complot, et ce sans avoir besoin de croire que ces théories sont fondées. La formulation soigneuse des questions, de sorte à s’assurer qu’elle sont univoques est, normalement, LE talent attendu chez celui qui rédige un sondage. Un an après un ratage complet, comment peut-on expliquer que ce type d’erreur persiste ?

Les sondeurs ont choisi un certain nombre de croyances conspi, mais ils n’ont pas épuisé tout le spectre. Dès lors se hasarder à faire (comme il y a un an) un comparatif entre les différentes sensibilités politiques pour voir « qui c’est les plus conspis » est une faute. On pouvait appeler ça une erreur il y a un an, désormais c’est plus grave.

Où sont les barres d’erreur ? Quel est le niveau de significativité ?

Si l’on avait testé la croyance aux complots russes dans les médias, ou un pilotage secret des Gilets Jaunes par un parti d’opposition, les pro-Macron auraient fait un « meilleur » score. Le « niveau de croyance » donné ici ne dépend que des croyances testées. Pourquoi celles-ci et pas d’autres ?

Je l’ai déjà signalé quand j’ai critiqué le précédent sondage : on force à répondre des gens qui n’ont jamais entendu parler d’un « complot ». Quelle conséquence cela a-t-il ? Eh bien que certaines personnes, étonnées d’apprendre l’existence de cette narration, vont émettre une forme de « pourquoi pas » qui n’est pas illégitime, qui correspond à une forme de doute, et qu’on ne pourra considérer comme une adhésion que si l’on agglomère entre elles les catégories, ce que ces sondages ne manquent pas de faire. Ce procédé ne peut que gonfler le score final. Est-ce le but ?

Par exemple si seuls 31% des gens interrogés connaissent les chemtrails et que 15% de ces mêmes gens interrogés y croient, on voit bien qu’il y a comme un problème. Ce 15% ne marque pas une adhésion, c’est impossible. C’est un autre phénomène qui a lieu, une sorte de doute/soupçon qui n’est jamais considéré pour ce qu’il est dans ce sondage.

Nouveauté par rapport à l’an dernier : désormais on nous fournit un tableau qui montre que ceux qui ont entendu parler d’une « théorie du complot » ont plus tendance à y croire que les autres… Progrès également : les sondés pouvaient répondre « je ne sais pas », ce qui réduit un peu (heureusement) la portée des critiques apportées dans ce billet.

Est-ce qu’on en tient compte dans la phrase-résumé final ? Dans la manière dont les journaux vont résumer les données ? Non et non.

***

La porosité entre conspirationnisme et croyance dans le paranormal est un résultat… connu, attendu, et donc obtenu. Ce sondage ne nous l’apprend pas. On le sait grâce à de vraies études scientifiques pré-existantes.

  1. Neil Dagnall, Kenneth Drinkwater, Andrew ParkerAndrew Denovan and Megan Parton. (2015) Conspiracy theory and cognitive style: a worldview. Front. Psychol. https://doi.org/10.3389/fpsyg.2015.00206
  2. Emilio Lobato  Jorge Mendoza  Valerie Sims  Matthew Chin (2014). Examining the Relationship Between Conspiracy Theories, Paranormal Beliefs, and Pseudoscience Acceptance Among a University Population. Applied cognitive Psychology
  3. Drinkwater, K and Dagnall, N and Parker, A (2012) Reality testing, conspiracy theories, and paranormal beliefs. Journal of Parapsychology, 76 (1). pp. 57-77. ISSN 0022-3387
  4. Etc.

Page 21 on nous annonce :

« Plus elles adhèrent aux thèses complotistes et moins les personnes accordent de l’importance au fait de vivre en démocratie. »

Sans être un mensonge, ceci est une lecture orientée des données. Permettez que je vous raconte une petite histoire : lors d’une dictée dans une école on a remarqué que les enfants meilleurs en orthographes avaient aussi de plus grands pieds. La taille des pieds a-t-elle une conséquence sur le niveau en orthographe ? Non, cette relation est la conséquence d’une variable cachée (ou variable de confusion) : les enfants aux plus grands pieds étaient aussi les plus plus âgés, ils étaient dans les grandes classes de l’école. C’est leur âge qui est la cause de leur plus petit nombre de fautes.

Dans notre cas, la variable de confusion qui n’a pas été mise en avant est certainement : « sentiment d’avoir réussi / raté sa vie » (données heureusement présentes dans le sondage… et très certainement liées au positionnement politique vu plus haut). Mais alors le lien qu’on cherche à montrer ici existe-t-il vraiment ? La réponse n’est pas dans le sondage. Et parce que la réponse n’est pas là, alors cette image sera utilisée de manière trompeuse ; les auteurs sont-ils censés l’ignorer ?

La dernière question a quelque chose de scandaleux dans sa remise en cause de la liberté d’expression alors même qu’un climat de répression violente règne sur le pays et que le pouvoir porte atteinte aux libertés des citoyens. Peut-être fallait-il la poser, ou peut-être fallait ne pas vouloir justifier les tentations de censure qui se font jours un peu partout. Nous constatons d’ailleurs, à la lumière de ces résultats, que les Pro Macron et les Pro Fillon sont favorables à une limitation de la liberté d’expression… des autres.


Pour conclure

Entendons nous bien : la pensée conspirationniste est un grave problème, elle nourrit une vision manichéenne et une mécanique du soupçon qui aboutissent à des positions extrêmes que le débat pacifique peine à canaliser. Si la critique que je porte ici n’est à ce point sévère, c’est parce que tout cela sera utilisé dans les médias pour servir des lignes éditoriales écrites d’avance. Les auteurs du sondage ne sont pas censés l’ignorer. Ils n’ignorent pas non plus l’existence de l’effet Streisand et que les coups de projecteurs sur les « théories du complot », par simple effet d’exposition, alimentent une illusion de vérité. Je n’ai pas de solution miracle à proposer, mais à tout le moins qui veut parler des théories du complot au grand public doit choisir un moyen de le faire qui ne laisse pas la place aux raccourcis et aux caricatures.

Si l’on voulait être soupçonneux, ce que ne manqueront pas d’être les personnes tentées par les narratifs conspirationnistes, on se trouve en présence d’un sondage qui gonfle le problème du conspirationnisme et qui émane d’une structure dont la raison d’être est la lutte contre les théories du complot et qui par ce sondage justifie qu’on lui donne de l’argent pour faire un autre sondage qui justifiera qu’on lui donne de l’argent, etc. Je ne veux pas accuser les auteurs d’une telle dérive ; je les en crois innocents, mais le doute est consommé.

J’ai personnellement tout intérêt à ce que l’on considère le problème des théories du complots comme grave et urgent, car mon activité s’en trouve valorisée. Mais si je deviens complaisant avec des procédés manipulatoires ou tendancieux, alors je contreviens aux principes que je suis censé promouvoir. Nous ne pouvons qu’être prompt à la critique des méthodes de ceux qui ont pour devoir d’être exemplaires.

Le sujet est assez grave et répandu pour ne pas s’en remettre à des procédés qui vont surtout créer du buzz puis de ne rien apporter, me semble-t-il, en l’état actuel des données publiées, aux connaissances scientifiques.


Les médias en parlent…

Source : Le Figaro
5 réponses
  1. Olibo64
    Olibo64 dit :

    Merci pour cet éclaircissement, il est vrai que j’étais tombé dans le panneau du sondage, un gros biais de confirmation de ma part, qui m’a fait immédiatement confirmer mon opinion du « pays de c… ».
    L’exemple du Jedi et des Sith est édifiant ! J’aurai également répondu sans hésiter oui !

    Remarquez que cela m’a permis de faire (à chaud également) dans mon entourage une forte promotion de votre dernier opus « quand est ce qu’on biaise » (également « la démocratie des crédules » de Gérald Bronner) ce qui finalement n’a pas que du mauvais…

    Je me permets juste un bémol sur votre texte, bien que vous ayez prévenu votre lectorat qu’il était écrit à chaud et surement entaché de biais. En effet, vous écrivez : « alors même qu’un climat de répression violente règne sur le pays et que le pouvoir porte atteinte aux libertés des citoyens ».

    Attention toutefois à ce que vous écrivez : la loi sur les fake news (certes une aberration à mon avis personnel tout comme toutes les lois restrictives de la liberté d’expression comme les lois mémorielles, qui sont des sortes de lois anti fake news mais dans un champ donné), et la répression certains casseurs ou activistes utlraviolents (sachant que des enquêtes sont également diligentées pour des violences policières), ne justifient pas à elles seules de tels qualificatifs.

    Le débat est vif, mais il y a débat. Les gilet jaunes comptent certes dans leurs rangs beaucoup de complotistes et de casseurs (sans lien entre les deux), mais pas que, et cela a permis d’ouvrir des axes de discussions sans commune mesure avec ce qui se pratique habituellement en France. Il y a des enquêtes sur les violences de chaque côté, et du coup, c’est un peu aller vite en besogne et tomber dans un biais que vous combattez tellement efficacement par ailleurs que de laisser supposer une espèce de « complot anti-complotistes ».

    Je sais je fais un peu gardien du temple, mais que voulez vous nous sommes exigeants avec ceux qui nous servent à certains points de vue de modèle…

    Répondre
  2. Stemy
    Stemy dit :

    C’est quand même fou que l’IFOP se soit plantée une deuxième fois sur le même sujet. Ils nous avaient habitués à plus de sérieux (pareil pour conspiracy watch), alors pourquoi chient-ils systématiquement dans la colle quand il s’agit de conspirationnisme ?

    Répondre
  3. Rushnak
    Rushnak dit :

    En tout cas, la dernière question, si les résultats ne sont pas d’une qualité similaire au reste de l’étude, est une belle illustration du paradoxe du centriste

    Répondre
  4. KN
    KN dit :

    Je rejoins une partie de vos critiques mais vous trouve assez injuste sur plusieurs points (mais vous avez eu l’honnêteté de déclarer votre biais, c’est tout à votre honneur).

    D’abord, les points sur lesquels je suis d’accord mais sur lesquels j’aimerais apporter une nuance :

    1) La formulation imparfaite de certains items – surtout celui sur les illuminatis. Il aurait fallu quelque chose du genre « il existe une société secrète, les Illuminatis, qui travaille à l’asservissement des populations ». Ceci dit, ça ne rend pas le reste des données ineptes, du tout. Le reste des items sont justement assez bien fichus, et la structure des réponses (avec les diagrammes représentant les différents « niveaux » d’adhésion) donne un bon proxy de la popularité de ces croyances. On peut aussi apprécier le fait qu’il s’agit d’un échantillon représentatif de la population française (les recherches publiées dans des revues peer reviewed exploitent rarement autre chose que des échantillons de convenance). Après on pourra dire qu’il aurait fallu que ça soit 100% parfait pour être irréprochable sous le moindre angle, et que cette « erreur » suffit à disqualifier l’ensemble, mais ce n’est pas mon opinion. De toute façon les conspirationnistes ont déjà catalogué Conspiracy Watch.

    2) Sur le choix arbitraire des théories du complot, qui du coup donne une vision biaisée des relations entre croyances conspirationnistes et « camp politique ». En effet, d’autres items auraient pu donner d’autres résultats. Par exemple, les théories du complot anti-minorités (grand remplacement etc) sont associées à des populations relativement différentes (par exemple, des populations plus âgées et « de droite », là où le conspirationnisme anti-élite se retrouve indistinctement aux deux extrémités de l’échiquier politique). Je veux cependant ajouter qu’il n’est pas inepte du tout d’examiner le phénomène conspirationniste sous le prisme de la partisanerie politique. Un paquet de travaux très solides ont montré des relations entre certaines variables politiques et croyances conspirationnistes : le fait d’appartenir au côté « perdant » d’une asymétrie de pouvoir » (par exemple faire partie de l’opposition,voir les travaux de Joseph Uscinski), le fait de s’auto-positionner aux extrémités du spectre extrême gauche/extrême droite (voir par exemple les travaux de Jan Willem van Prooijen), … Bref, cette approche n’est pas sortie du chapeau. Après, tout dépend de la manière dont on commente les données.

    Je terminerai avec la question du biais d’acquiescement : l’idée que la simple exposition à l’énoncé va gonfler artificiellement l’adhésion par effet de « pourquoi pas ? ». Peu après, vous citez un certain nombre de travaux de « vrais » scientifiques, sur le lien entre conspirationnisme et croyances paranormales. Or, les échelles utilisées dans la recherche en sciences humaines peuvent faire l’objet d’exactement la même critique. Et en fait, toute échelle supposée sonder l’adhésion à une opinion pourrait être soumis à la même critique : l’exposition à l’énoncé d’une croyance ou d’une opinion peut, de fait, engendrer un effet « pourquoi pas ? ». C’est particulièrement vrai pour les échelles qui n’incluent pas d’items inversés (ce qui est le cas de l’immense majorité des mesures de croyances conspirationnistes). Donc je ne comprends pas pourquoi dans ce cas ci ça serait rédhibitoire. Si ça l’est, on peut brûler à peu près l’entièreté de la recherche en sciences humaines qui recourt à des échelles de mesure. Il faut juste accepter qu’on n’a pas directement accès aux croyances et que les échelles d’adhésion ne sont qu’un proxy de ce qu’on veut étudier.

    Répondre
    • hrotulf
      hrotulf dit :

      Je suis assez d’accord avec vous.
      Je trouve le sondage globalement satisfaisant. Il n’est pas parfait, mais ils ont corrigé les défauts qui me gênaient le plus dans leur précédente version.

      Le problème, c’est plutôt la manière dont certains médias répercutent les résultats. Mais ce n’est pas la faute du sondage en lui-même, plutôt de l’intérêt de mettre des titres spectaculaires pour générer des vues.

      Après, c’est plutôt l’amalgame entre tous les complots qui peut être dérangeante.
      Par exemple, Mandax suggère de demander s’il y a complot russe dans les médias.
      Désolé, mais c’est un très mauvais exemple (ou la question est mal posée). Russia Today et Sputnik font de la désinformation chronique, c’est tout à fait vérifiable. Ce n’est pas un complot puisque c’est fait au grand jour.

      Et je mets également un gros bémol sur la mention du climat de répression violente. On peut ne pas être d’accord avec les mesures gouvernementales, mais l’expression « répression violente » est totalement hors propos.

      Répondre

Laisser un commentaire

Participez-vous à la discussion?
N'hésitez pas à contribuer!

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Time limit is exhausted. Please reload CAPTCHA.