Hallucinations et mensonges des chatbots (2026-2027) : le bilan chiffré sur 1 151 conversations réelles
Entre avril et septembre 2026, l'équipe de YesAgrum a disséqué 1 151 conversations gérées par notre chatbot du service client. Parmi elles, 9,7 % de taux d'erreur factuelle, soit 112 hallucinations (inventions) sur des tarifs, des offres ou des financements, et 59,7 % des échanges où un conseiller humain a dû corriger le tir ou apporter de la nuance dès les 5 premières minutes.
Will MASSENGO
11/16/202610 min read


Text → un chatbot représentatif du marché actuel
Pour que vous jaugiez ces chiffres à leur juste poids, je plante le décor.
YesAgrum pilote des chat en ligne qui répondent aux visiteurs de sites, les orientent et les transforment en leads qualifiés. On utilise, notamment, la solution de Text sans partenariat ni ristourne cachée.
Dès qu’un visiteur ouvre la fenêtre de chat, c'est l’IA qui s’affiche en premier.
Elle gère tout ce qui relève des demandes courantes, voire d'un niveau "intermédiaire léger".
Un chatbot à l'image de ce qui tourne en ce moment sur la majorité des sites du marché (banque, immobilier, e-commerce, etc.). Dans sa catégorie, c’est même un outil plutôt costaud.
Le vrai problème du chatbot Text, sans langue de bois
D’un côté, je salue sa réactivité. En moins de 10 secondes, la réponse tombe.
La bulle de chat est intuitive et vous suit partout tel un vendeur dévoué.
Les 112 erreurs et correctives imposées relevaient surtout d’imprécisions mineures.
De plus, et ce détail fait toute la différence, la grande majorité des loupés ont eu lieu entre avril et juin, donc avant la grande mise à jour restrictives de notre chatbot, marquant la fin d'une période de rodage pour YesAgrum. On y revient plus bas.
D'un autre côté, notre équipe était persuadé que si l'IA dérapait sur des éléments mineurs, elle était techniquement capable de déraper sur des points critiques.
Cette expérience terrain a été menée via le chatbot de Text (ex-LiveChat) sur 1 151 conversations pendant six mois.
Je peux désormais vous livrer ce retour, sans minimisation ni extrapolation.
Petite précision avant tout → cet article n'a aucun lien commercial avec l'éditeur de la solution (Text).
Je ne tape pas sur eux pour me faire mousser, je tape sur un symptôme qui touche tout le marché du chat en ligne, et plus largement celui des IA grand public.


Au-delà du manque de fiabilité, j’ai identifié trois défauts qui plombaient la conversion.
Le premier ? L’effet “pavé” indigeste.
Même calibré en amont, le bot finissait souvent par pondre un bloc de texte à rallonge.
Face à lui, le visiteur repèrait la machine avant même de lire.
Conséquence, l’échange perdait sa fluidité, et avec elle, l’envie de rester sur le site.
Le deuxième était dans la rigidité commerciale.
En B2B comme en B2C, vendre, c’est savoir rebondir avec la bonne question. Or, dans un cas sur deux, le chatbot répondait pile à ce qu’on lui demandait puis s’arrêtait net.
À l'opposé, il relançait la discussion sans la moindre saveur, avec ses célèbres questions bateau : « Voulez-vous en savoir plus sur nos offres ? »
En troisième lieu, on s'est retrouvé avec un filtre à FAQ déguisé en conseiller.
Le bot triait alors le tout-venant pour éviter aux visiteurs d'avoir à comparer plusieurs pages.
Malgré un brief en ce sens, il ne cherchait pas toujours à en savoir plus sur le projet des prospects.
Il était juste là… posé comme un plot de signalisation.
Coulisses de l’étude YesAgrum : la méthodo cartes sur table
Pour ne pas fausser les chiffres ou gonfler artificiellement un échantillon, on a isolé 1 151 conversations engagées spontanément, ayant duré au moins 5 minutes, avec un intérêt réel et mesurable pour l’offre du site web.
Je précise que cette étude a été menée en interne, sans audit par un tiers indépendant.
Durant les deux premiers mois, on a donné au chatbot des consignes élémentaires, via un prompt qui détaillait les offres principales et la manière dont on voulait qu'il réponde.
Ce prompt de départ, sans restriction marquée, servait à observer comment l'IA prenait des décisions par elle-même en l'absence de limites claires.
À la fin de cette période test, on a cadencer les règles en compactant les instructions initiales.
Il lui était désormais interdit de répondre lorsqu'elle ne savait pas ou avait un doute.
C'était une décision ferme et incontournable. On lui a aussi bien martelé qu'en cas d'incertitude, elle devait proposer au visiteur de parler à un humain.
Je vous livre donc une observation terrain brute.
L’échantillon couvre trois secteurs bien distincts ;
1) La location immobilière.
2) La rénovation d'intérieur.
3) La vente de vélos électriques.
Pourquoi l'IA ment-elle ? La mécanique du RLHF et les problèmes qu’elle a déjà causés
Pourquoi une IA inventerait-t-elle un taux de financement ou une remise qui n’a jamais existé ?
Parce que chaque échange nourrit son entraînement par RLHF (Reinforcement Learning from Human Feedback).
Dans la tête d’un algorithme, il n'y a que trois issues possibles :
Le retour neutre : RAS.
Le retour positif : mission accomplie, le modèle est récompensé.
Le retour négatif : échec, donc point noir sur sa note.
Sa seule raison d’exister réside dans votre satisfaction.
Pour le chatbot, claquer un “non” sec risque de plomber son quota d’humain satisfait.
Pour éviter cette insatisfaction, il fabrique parfois une réponse de toutes pièces.
Air Canada, 2022-2024 : pour rassurer un client qui venait de perdre sa grand-mère, le chatbot de la compagnie a inventé une politique de "remboursement rétroactif" en cas de décès.
Bien évidemment, Air Canada a refusé de rembourser le client.
Devant le tribunal, la compagnie a plaidé que le chatbot était “une entité légale distincte” de l’entreprise, un argument que le juge canadien a lui-même qualifié de “remarquable”.
Le 14 février 2024, le tribunal a tranché. Air Canada est responsable de ce que dit son bot, comme de ce que dit n’importe lequel de ses employés. Le montant de la condamnation était dérisoire, à peine 650 dollars américains, mais l’onde de choc, elle, a fait le tour des services juridiques du monde. Depuis ce jour, tout entreprise est responsable du bot qui parle en son nom.
DPD, 2024 : à la suite d’une mise à jour système ratée, le chatbot du transporteur britannique s’est mis à insulter un client, à écrire un poème au vitriol sur sa propre entreprise et à qualifier DPD de pire société de livraison au monde.
La capture d’écran a atteint 800 000 vues en 24 heures.
DPD a été contraint de couper le module en urgence.
En novembre 2026, ce chatbot n'avait toujours pas été remis en ligne.
New York City MyCity, 2024 : le chatbot officiel lancé en grande pompe par la mairie de New York pour conseiller les entrepreneurs a recommandé aux restaurateurs et propriétaires de violer la loi, en leur affirmant qu’ils pouvaient garder les pourboires de leurs employés et refuser les bénéficiaires d’aides au logement. Le pire dans cette histoire ? La suite…
Une fois l’affaire dénoncée publiquement, la mairie s’est contentée d’ajouter un petit disclaimer sur sa page, avant de relâcher son bot.
Ironiquement, il continuait de donner des réponses tout aussi illégales quelques semaines plus tard.
Comment limiter les dégâts d’un chatbot de service client
D’après ma pratique quotidienne, la fiabilité d’un bot se joue à 80 % avant sa mise en ligne, puis environ une fois par mois à sa mise à jour. Et contrairement aux idées reçues, gaver le bot d’instructions détaillées (plus de 1 200 mots) a, pour ma part, augmenté son taux d’hallucination au lieu de le réduire, surtout lorsqu'il devait naviguer entre les pages de différents sites web.
La méthode la plus fiable, selon mon expérience, est de lui injecter le strict minimum, tout en verrouillant ses garde-fous comme un coffre-fort.
Quand je configure un chatbot, je ne me contente pas de lui dire “si on te demande X, réponds Y”.
Je lui martèle d’abord où s’arrêtent ses limites, et surtout à quel moment exact il ne doit plus s’avancer. À quel moment, il doit passer la main à un humain.
Une fois les données du site intégrées, je le soumets à une batterie de tests avec les cas les plus tordus qu’on puisse imaginer.
Pour moi, un bot est inopérant tant qu’il n'est pas capable d'avouer “Je ne sais pas” ou “Je ne suis pas sûr”.
Un bot qui répond à tout, même dans l’incertitude, est un bot qui finira par dire n’importe quoi.
Source : Kalai, A.T. et al., "Why Language Models Hallucinate", Nature, 2026. Étude menée sur le benchmark SimpleQA (4 326 questions factuelles), testant GPT-5 en réponse directe versus un mécanisme de double réponse avec contrôle de cohérence...
Un chatbot (GPT-5) a répondu à 4 326 questions de culture générale. Première méthode : il répond toujours, même sans être sûr. Résultat, il se trompe presque une fois sur deux. Deuxième méthode : on lui fait répondre deux fois à la même question. Il se contredit lui-même, il avoue ne pas savoir au lieu de deviner. Résultat : moins d'erreurs, mais il avoue son ignorance quatre fois sur dix.
Autre source intéressante : le rapport internationnal sur la sécurité de l'IA (2026), par le prof. Yoshia Bengio, Université de Montréal. LawZero / Mila - Institut québécois d'intelligence artificielle.
“Remplacer l’humain par une IA” - le retour de bâton des géants de la Tech
De nombreux mastodontes font marche arrière sur le “full automatisé”.
Le cas Klarna est édifiant de bout en bout.
Après avoir remplacé l’équivalent de 700 agents du service client par son IA et gelé toutes ses embauches fin 2023, l’entreprise suédoise a fini par reconnaître publiquement, en mai 2025, que cette stratégie avait dégradé la qualité de son service-client.
Son CEO, Sebastian Siemiatkowski, l’a dit noir sur blanc. Miser trop lourdement sur le coût a fini par produire une qualité médiocre. Il relance aujourd’hui le recrutement d’agents humains pour garantir un contact réel aux clients.
Trop d’incompréhensions mais surtout trop d’informations éronnées
Depuis 2022, année qui marque l’ascension de ChatGPT, le problème des hallucinations et des inventions n’a pas disparu, il a même empiré.
Selon l’audit de NewsGuard, le taux d’infox générées par les dix principaux chatbots sur des sujets d’actu sensibles est passé de 18 % en août 2024 à 35 % en août 2025, soit quasiment un doublement en un an.
Le détail qui change tout ? La cause.
Les IA ne sont pas devenues plus bêtes ; elles ont tout simplement arrêté de dire “Je ne sais pas”.
Car leur taux de non-réponse est tombé de 31 % à 0 % sur la même période.




10 chatbots IA ont été testés deux fois sur les mêmes sujets d'actualité sensibles, à un an d'écart (août 2024 puis août 2025). En 2024, ils refusaient souvent de répondre par prudence. En 2025, ils répondent à 100 % des questions, mais une réponse sur trois est fausse.
Source : NewsGuard, "Le taux de fausses informations répétées par les chatbots IA a doublé en un an", étude comparant les scores individuels de 10 chatbots d'IA générative sur des sujets d'actualité sensibles entre août 2024 et août 2025.
En clair, les chatbots sont, par défaut, dressés à répondre plutôt qu’à dire “je ne sais pas”.
C’est exactement ce réflexe qui fait exploser le taux d’erreur. La mécanique est identique à celle que j’observe sur nos propres conversations testées.
Quelle suite en 2027, à 3 et à 5 ans ?
Si l’on prenait tous les chiffres vus plus haut pour poser une courbe d’évolution des hallucinations, le constat sauterait aux yeux. Plus les IA deviennent rapides et bavardes, plus elles prennent de risques avec la vérité. Pour la suite, je bascule en mode avis personnel.
J’utilise l’IA tous les jours depuis fin 2020 et avec le recul, j’ai vu une nette amélioration sur le terrain des fonctionnalités (génération d’images, de vidéos, recherches web intégrée, structuration des textes, etc.). Le robot comprend de mieux en mieux la complexité d'une situation.
En revanche, sur la compréhension profonde, que ce soit sur mon live chat ou sur mes propres IA du quotidien (Gemini, Claude et Genspark), l’amélioration n’est, selon moi, franchement pas significative et les confusions restent un problème majeur. C’est comme s’il y avait un plafond de verre empêchant d'atteindre une fiabilité dominante.
Quoi qu’il en soit, si les choses continuent sur cette trajectoire, l’humain compétent occupera une place d'autant plus centrale, pendant que les métiers impliquant des tâches sans valeur ajoutée continueront de s’éteindre au profit de l’automatisation.
Courant 2027, on peut raisonnablement s’attendre à une IA plus rapide et plus autonome sur le tri des conversations du service-client, mais toujours aussi dépendante d’une supervision humaine dès que la question sort du cadre standard.
À 3 ans, on peut, de façon réaliste, anticiper une normalisation du modèle hybride ; l’IA en première ligne, l’humain en tant que superviseur systématique, car le coût d’une hallucination mal gérée finira par peser plus lourd que le coût d’un conseiller humain.
D’ici à 5 ans ? Je ne suis pas Nostradamus, personne ne l’est dans ce secteur qui bouge tous les six mois. Quoi qu’il arrive, il est clair que le service client évoluera sans éjecter totalement l’humain, tant qu’il apporte une valeur absente chez le robot.
C’est précisément pour cette valeur, aujourd’hui et demain, que j’ai fondé YesAgrum.
Dès qu’un site dépasse 100 visites par jour, laisser un robot gérer seul les requêtes instantannées revient à brûler son trafic et son budget d’acquisition.
Mon équipe et moi intervenons comme un filet de sécurité pour ce type de sites.
On combine la rapidité d’un premier filtrage automatique avec une supervision humaine en temps réel. Dès qu’une question devient délicate, un vrai conseiller reprend la main pour rassurer le prospect, couper court à toute promesse fantaisiste et qualifier le lead avant qu’il ne s’évapore.
Si vous voulez voir cette approche hybride en action, lancez la discussion sur notre live chat juste en bas à droite de cette page.
Contact
YesAgrum
Ne laissez plus votre trafic payant s'évaporer.
On presse, vous récoltez.
© 2026 YesAgrum. Tous droits réservés.
