ChatGPT, SEO et effet Dunning Kruger au carré

Quand je vois la « hype » autour de ChatGPT, je ne peux pas m’empêcher de penser qu’une bonne partie de l’enthousiasme autour des IA génératives est lié à l’effet Dunning-Kruger. Un syndrome qui touche aussi depuis une dizaine d’années le monde du SEO.

Alors quand on parle de faire du SEO avec ChatGPT, c’est Dunning-Kruger au carré !

Qu’est-ce que l’effet Dunning-Kruger ?

L’effet Dunning-Kruger est un phénomène qui a été décrit pour la première fois dans un article scientifique des psychologues américains David Dunning et Justin Kruger datant de 1999.

Voila ce qu’ils ont observés.

1. La personne incompétente tend à surestimer son niveau de compétence ;
2. La personne incompétente ne parvient pas à reconnaître la compétence de ceux qui la possèdent véritablement ;
3. La personne incompétente ne parvient pas à se rendre compte de son degré d’incompétence ;
4. Si une formation de ces personnes mène à une amélioration significative de leur compétence, elles pourront alors reconnaître et accepter leurs lacunes antérieures.

La façon dont Dunning et Kruger expliquent l’origine de leur « effet » a fait l’objet de controverses scientifiques. Mais pas l’effet en soi, car l’expérience a été reproduite plusieurs fois et donne toujours des résultats similaires, au moins dans les cultures occidentales.

Le SEO et l’effet Dunning-Kruger

Dans la vie de tous les jours, surestimer son niveau de compétence peut avoir de graves conséquences. S’il existe un permis de conduire, c’est parce que laisser sur les routes des gens qui pensent savoir conduire parce qu’ils arrivent à rouler 100 m sur une route droite et passer les vitesses serait excessivement dangereux pour autrui.

Lorsqu’il s’agit de SEO, et bien, c’est la même chose. Sauf qu’il n’existe pas de permis pour optimiser un site…

Si je regarde autour de moi, j’observe partout des comportements qui relèvent de l’effet Dunning-Kruger

• des gens qui se prétendent experts en SEO parce qu’ils ont suivi deux formations en ligne, et au mieux trois mois de formation dans des formations spécialisées. Non désolé, vous n’êtes pas experts, mais des débutants. Et certains d’entre vous sont des débutants dangereux, qui ne peuvent pas gérer le SEO d’un site sans supervision.
• les mêmes peuvent se lancer en tant que « formateurs SEO ». Déjà, le métier de formateur s’apprend, et ce n’est pas donné à tout le monde d’être un bon pédagogue. Et ensuite, il faut bien maîtrise la discipline pour être un bon enseignant. Sinon, vous ne valez pas plus qu’un MOOC en tant que prof de SEO.
• des pseudo-experts capables de sortir des cuistreries sur des sujets SEO :
  • comme confondre croyance et connaissance. Non, ce n’est pas parce que 60% des SEO croient un truc, que c’est vrai.
  • comme oublier que Google peut changer son fonctionnement. J’en ai assez de devoir rappeler à des gens qui sont soi disant experts que, oui, toutes les 30x transmettent du Pagerank. Oui toutes. Et qui m’obligent à filer la référence : https://twitter.com/methode/status/757923179641839616
• des « spécialistes du SEO » qui ne savent pas faire la différence entre une source fiable et une source douteuse. Mieux, parfois ils ne savent même pas où ils ont vu l’info qu’ils vous assènent avec une énorme confiance
• des « conspirationnistes du SEO » qui pensent que Google ment en permanence, et que ce sont eux qui détiennent la vérité. Si ça, ce n’est pas surévaluer sa compétence…
• des « consultants SEO confirmés » qui après trois ans en agence ne savent pas élaborer une stratégie SEO efficace…
• et surtout, tous ces débutants qui pensent que corriger ce que relève l’audit de SEMRush suffira à faire décoller le trafic SEO de votre site… Messieurs et mesdames, attendez-vous à des déconvenues.

Le problème c’est que les cuistres du SEO sont nombreux. Et qu’ils assurent l’essentiel de la communication autour du SEO dans notre communauté. Ce sont les plus visibles, et leur influence est grandissante.

Dans le même temps, les vrais experts travaillent, sans avoir besoin de développer leur « personal branding » et n’ont pas beaucoup de temps pour « debunker » les énormités qui se diffusent sur Twitch, Twitter, Linkedin, ou Discord…

Je rappelle ici l’existence de la fameuse loi de Brandolini

La quantité d’énergie nécessaire pour réfuter du bullshit est supérieure d’un ordre de grandeur à celle nécessaire pour les produire »

Alberto Brandolini, 2013

The bullshit asimmetry: the amount of energy needed to refute bullshit is an order of magnitude bigger than to produce it.

— Alberto Brandolini (@ziobrando) January 11, 2013

« Tu veux savoir la différence entre un maître et un apprenti ? Le maître a échoué plus de fois que le débutant n’a essayé. »

Maître Yoda, Star Wars

Est-ce que cette situation est dommageable ?

Oui, très.

Cela fait passer le métier du SEO pour une discipline folklorique, pratiquée par des gens qui manquent de sérieux et de rigueur, et qui se contredisent entre eux. Ce n’est pas caricatural, c’est la réalité que je vois autour du moi. Et c’est ce que beaucoup de gens pensent.

J’ai l’impression de faire un autre métier. Le problème c’est qu’il a le même nom que celui pratiqué par des gourous autoproclamés qui pensent que l’on peut faire du SEO comme on pratique la lithothérapie. (Rappel, la lithothérapie n’a aucun fondement scientifique : https://www.unadfi.org/actualites/domaines-dinfiltration/sante-et-bien-etre/pratiques-non-conventionnelles/lithotherapie-une-escroquerie-dangereuse/).

Est-ce que cette situation est irrémédiable ?

Oui, hélas.

Le point de non retour a été dépassé il y’a des années, et en plus cela ne concerne pas que le SEO, mais beaucoup de domaines d’expertises. Il n’y a qu’à voir les vidéos Youtube de pseudo Experts en investissements financiers, ou mêmes des Platistes pour s’en convaincre. La démocratisation de l’accès à la diffusion de la connaissance (qui est une bonne chose) s’est accompagnée d’un déluge de fake news, et de faux savoir.

Or nos « padawans » n’ont pas les clés pour savoir sourcer correctement les informations.

Et l’arrivée de ChatGPT et des IA génératives va encore accentuer le problème.

ChatGPT et l’effet Dunning Kruger.

C’est donc internet et les médias sociaux qui ont facilité la création de ce flot considérable d’informations mal sourcées, mal vérifiées, quand elles ne sont pas fausses.

Je mets de côté ici les petits malins qui savent qu’ils diffusent de fausses informations et le font pour des motivations coupables.

Non, là nous parlons des gens qui se trompent avec candeur et sincérité.

Or là, avec les IA génératives, n’importe quel padawan peut se croire capable de produire un article expert sur n’importe quel sujet. Le problème c’est qu’il n’aura pas les compétences pour détecter :

• que son contenu contient des erreurs
• que son contenu est biaisé et qu’il ne fait pas consensus
• que son contenu est incomplet
• etc.

Ok, on risque de voir l’usage de ChatGPT suivre la courbe ci-dessous, typique de l’effet Dunning Kruger au cours d’un apprentissage.

Mais sur cette courbe que j’ai créée, on ne parle que d’un seul domaine d’apprentissage : l’utilisation correcte de ChatGPT.

Le problème c’est que les IA Génératives peuvent donner à n’importe qui l’impression qu’il peut maîtriser immédiatement, grâce à ce genre d’outils, tous les champs de connaissance.

Bien sûr, cela va être des aides formidables pour qui saura les utiliser. Cela va faciliter l’accès aux connaissances et aux savoir-faire. Et cela va faire gagner du temps dans les processus d’apprentissage (merci Copilot pour m’aider à faire du code Python alors que je suis encore débutant).

Mais cela risque aussi de générer des tombereaux de contenus de mauvaise qualité sur le SEO, des pseudo-audits, des pseudo-stratégies.

Dans notre domaine, le risque c’est aussi l' »ultracrepidarianisme« . C’est le syndrome du savant qui prend la parole en dehors de son domaine de compétences. Par exemple un développeur Python qui s’improvise expert SEO en faisant travailler une IA en sous main.

Ok, je vous ai dit que je faisais l’inverse avec GitHub Copilot. Mais je ne suis pas novice en programmation, juste sur Python. Donc je sais que je ne sais pas des tas de trucs sur le langage Python, et que Copilot n’est pas encore capable de faire du code parfait. Donc cela me préserve (un peu, pas totalement) d’un excès de confiance à propos de ce domaine que je ne maîtrise pas.

Comment limiter les dégâts ?

Cela me parait assez vain de vouloir empêcher la disruption en cours de se produire. On peut juste limiter les dégâts en :

• créant vite des formations à l’usage de ChatGPT et ses avatars dans le milieu professionnel, et en sensibilisant les directions qu’un mauvais usage pourra entraîner
• en investissant les écoles de formation initiale pour proposer des cours pour apprendre à bien employer ces outils aux étudiants. Et ceci, tant que cela ne sera pas intégré dans les programmes, ce qui prendra des années
• et en remettant au coeur des apprentissages moins le savoir que des compétences pour vérifier la solidité des informations produites par autre chose que des experts humains. Et là, on doit passer à une autre dimension par rapport aux cours de sourcing des écoles de journalisme.

Et pour finir, voici une minute de philosophie créée par ChatGPT.

Dans l’Apologie de Socrate de Platon, Chéréphon est un ami de Socrate qui a demandé à l’oracle de Delphes si quelqu’un était plus sage que Socrate. La Pythie a répondu que personne n’était plus sage que Socrate. Socrate a été surpris par cette réponse et a décidé de chercher des personnes plus sages que lui pour comprendre la réponse de l’oracle. Cela a conduit à sa philosophie et à sa méthode de questionnement appelée la maïeutique

Socrate a été surpris par la réponse de la Pythie de Delphes car il ne se considérait pas comme sage. Il a compris que la réponse de l’oracle signifiait qu’il était le plus sage des hommes car il était conscient de son ignorance et cherchait toujours à apprendre .

ChatGPT 4, bien aidé par quelqu’un qui connaissait un peu la Philo et l’existence de cette histoire racontée par Platon. Comme quoi, bien utilisées, ces technos sont formidables, mais elles peuvent aussi produire de la mauvaise science.