Pourquoi l’IA donne de mauvaises réponses : le problème vient souvent des documents

Quand un assistant IA se trompe, l’erreur peut venir d’un document, et pas du modèle. Des études publiées en 2026 montrent que les modèles de langage acceptent le contenu faux qu’on leur fournit. Selon une étude de septembre 2026, encore en prépublication, un seul document périmé suffit à rendre fausses des réponses que le modèle donnait correctement sans lui. Un assistant qui répond à partir de vos documents n’a donc jamais plus raison que ces documents.

Nous résumons cette idée par un acronyme anglais, WYKIWYG, pour "what you know is what you get" : ce que vous savez, c’est ce que vous obtenez. Le clin d’œil renvoie à WYSIWYG, la promesse des traitements de texte : la page imprimée est celle que vous voyez à l’écran. Pour un assistant IA connecté à vos connaissances, la promesse vaut pour le meilleur comme pour le pire. Le travail qui rend un assistant fiable consiste à garder les connaissances de l’entreprise exactes, à jour et confiées à un responsable. Aucun réglage du modèle ne fait ce travail à votre place.

Pourquoi un assistant IA donne de mauvaises réponses

La Banque de France a interrogé environ 7 000 entreprises entre le 25 février et le 3 avril 2026. Parmi les entreprises de 20 salariés et plus qui utilisent l’IA, 24 % citent la fiabilité incertaine des résultats parmi les obstacles à son usage (Banque de France, Bulletin n° 266, septembre 2026).

Une partie des erreurs s’explique par la façon dont l’assistant construit sa réponse. La plupart des assistants d’entreprise reposent sur la génération augmentée par récupération, ou RAG (retrieval-augmented generation). Elle procède en deux temps.

1. La recherche. Le système cherche dans vos documents les passages les plus proches de la question et les transmet au modèle.
2. La rédaction. Le modèle rédige sa réponse à partir de ces passages, en général avec la consigne de s’y tenir et de les citer.

L’article qui a introduit le RAG en 2020 voulait résoudre deux problèmes : montrer d’où vient une réponse, et mettre à jour ce que sait un modèle sans le réentraîner (Lewis et al., NeurIPS 2020). Les documents sont la partie que vous pouvez modifier, et c’est pour cela qu’ils décident de la réponse.

Compter sur le modèle pour corriger un document faux est donc une erreur. Un assistant conçu pour suivre ses sources fait exactement son travail quand il suit une source fausse. Une hallucination RAG peut être la lecture fidèle d’un document inexact.

Ce que mesurent les études : le modèle croit le document

Deux études relues par des pairs, publiées en 2026, ont mesuré ce que fait un modèle quand le document qu’il reçoit est faux.

Un compte rendu de sortie est un document interne qui fait autorité, rédigé sur le ton assuré d’une procédure. Présenté sous cette forme, un contenu faux est cru cinq fois plus souvent que sur un réseau social. Dans une entreprise, l’équivalent de ce compte rendu, c’est la procédure approuvée, la page de politique interne ou la fiche produit : les documents auxquels on demande justement à l’assistant de se fier.

Un seul document périmé suffit

Un document faux est rare ; un document périmé, courant. Le 25 septembre 2026, des chercheurs de l’Université du Danemark du Sud ont publié une étude qui mesure directement l’effet d’un document périmé sur une réponse (Ahmed, Galke Poech et Röttger, prépublication). L’étude n’a pas encore été relue par des pairs.

Les auteurs ont réuni 317 "revirements" vérifiés en médecine, en droit, dans le logiciel et dans les règles des plateformes en ligne : des cas où la bonne réponse a changé alors qu’un ancien document donne toujours l’ancienne. Ils ont ensuite fourni un document périmé aux modèles, sur des questions auxquelles ces modèles répondaient correctement sans aucun document.

• Avec une consigne neutre, un seul document périmé rend fausses 30 % des bonnes réponses d’un modèle Llama et 37 % de celles d’un modèle Qwen.
• Quand la consigne demande de suivre le document, la part monte à 66 % et 75 %.
• Quand c’est le document à jour qui est retrouvé, les modèles le suivent dans 97 à 100 % des cas.
• Dans un test plus restreint, GPT-5.5 répondait correctement, sans aide, à la plupart des questions médicales, mais un document périmé a rendu fausses 74 de ces 83 bonnes réponses.

Une étude relue par des pairs, publiée en juillet 2026, montre que repérer un changement ne suffit pas à en tenir compte. Face à des faits qui ont changé récemment, les grands modèles repèrent souvent le conflit entre ce qu’ils ont appris et ce que dit le document, mais ce constat se retrouve rarement dans leur réponse finale (Wallat, Nejdl et Sikdar, Findings of ACL 2026).

La réponse dépend donc de la personne qui tient les documents à jour. Si la recherche trouve la version actuelle, le modèle la suit. Si elle trouve l’ancienne, il la suit souvent aussi.

Ce que cela change pour un déploiement de Copilot ou d’agents IA

Un pilote tourne sur quelques documents récemment nettoyés ; en production, l’assistant accède à tout le reste. Quatre pratiques en découlent.

Tester l’assistant avec des documents périmés, volontairement. Avant le lancement, choisissez une dizaine de questions dont la réponse a changé ces deux dernières années : un tarif, une règle interne, une version prise en charge, un interlocuteur. Laissez l’ancienne version de chaque document consultable, posez les questions et comptez les réponses périmées. C’est le protocole de l’étude danoise, appliqué à vos propres contenus.

Retirer les anciens documents. Le chiffre de 97 à 100 % est la bonne nouvelle de ces travaux : un modèle suit la bonne information quand c’est elle qu’il trouve. Un document remplacé mais toujours consultable fait concurrence à son successeur. Archivez-le, ou indiquez qu’il est remplacé, avec la date à laquelle il a cessé de s’appliquer et un lien vers le nouveau. Dans la même étude, quand on indiquait clairement aux grands modèles la date à partir de laquelle l’ancienne information ne s’appliquait plus, ils donnaient la bonne réponse presque à chaque fois.

Confier chaque document à un responsable, avec une date de revue. Quelqu’un doit savoir que la règle a changé et que l’ancienne page est toujours en ligne. Ce rôle revient à une personne désignée, prévenue avant que la page ne soit périmée, et non à l’assistant.

Traiter les droits d’accès comme une partie de la réponse. L’ANSSI demande de gérer le besoin d’en connaître dès la conception d’un système d’IA générative. Elle demande aussi de contrôler les autorisations sur chaque échange entre ce système et les applications métier, et de revoir les droits des outils d’IA à leur activation, puis régulièrement, par exemple chaque mois (ANSSI, avril 2024). Les agences de sécurité américaines, britannique, australienne et néo-zélandaise ajoutent qu’une réponse d’IA doit recevoir le même niveau de classification que les données dont elle est tirée (AI Data Security, mai 2025). WYKIWYG vaut aussi ici : un document rangé au mauvais endroit, visible par le mauvais public, devient une réponse donnée à la mauvaise personne.

Notre guide de la gestion des connaissances pour l’IA reprend l’ensemble de ces pratiques. Pour l’architecture qui sépare les connaissances des outils qui les lisent, consultez notre article sur le headless knowledge management.

Les limites de l’argument

WYKIWYG est une thèse forte, avec trois limites.

De bons documents sont nécessaires, mais pas suffisants. La recherche documentaire réduit les réponses inventées sans les faire disparaître. Lors d’une évaluation menée en 2024 sur des outils commerciaux de recherche juridique fondés sur le RAG, chacun de ces outils donnait encore une réponse hallucinée pour 17 % à 33 % des questions (Magesh et al., Journal of Empirical Legal Studies, 2025).

Ces erreurs finissent aussi devant les tribunaux. Au 5 octobre 2026, la base tenue par un chercheur recensait 2 149 décisions de justice dans lesquelles une partie s’était appuyée sur un contenu halluciné par une IA (Charlotin, AI Hallucination Cases Database). Elle compte des décisions, pas un taux d’erreur, et ne dit pas quels outils étaient en cause.

Un modèle peut résister à un document faux. Le banc d’essai ClashEval de 2024 (Wu, Wu et Zou) a montré que les modèles résistent mieux quand l’erreur est moins vraisemblable. Une étude de 2026 ajoute que la part des réponses qui suivent le document dépend de la tâche : demander des justifications augmente la confiance dans le document, ce qui aide les tâches qui doivent s’appuyer sur le document et nuit à celles qui exigent les connaissances propres du modèle (Sun, Bai et Dredze, Findings of ACL 2026). Aucun pourcentage ne vaut pour tous les assistants, mais toutes ces études vont dans le même sens.

Classer par date n’aide que si les dates sont exactes. Dans l’étude sur les documents périmés, un classement qui met en avant les documents récents réduit les mauvaises réponses de 4,6 à 10 points quand les dates sont exactes. Sans date, le gain devient faible, et il peut s’inverser quand les dates sont fausses. Une date de modification qui change à chaque coquille corrigée ne dit rien de la fraîcheur d’un contenu. La fiabilité des dates dépend de la base de connaissances, pas du modèle.

Ce que les textes officiels ne disent pas

Les textes publics s’accordent sur le risque. Le NIST américain range les données d’entraînement qui se périment parmi les risques propres à l’IA (AI RMF 1.0, 2023). La CNIL recommande de vérifier les réponses et de préférer les systèmes qui citent leurs sources. Elle rappelle aussi que l’organisme qui connecte un modèle à sa propre base de connaissances est responsable de ce traitement quand elle contient des données personnelles (CNIL, juillet 2024). Aucun des textes que nous avons lus ne désigne de responsable, de rythme de revue ou de date d’expiration pour les documents internes qu’un assistant lit au moment de répondre. C’est là qu’intervient une plateforme de gestion des connaissances.

Dans Elium, plateforme européenne de gestion des connaissances, chaque article a un responsable et peut porter une date de vérification. Quand cette date approche, l’article apparaît dans les tâches de son responsable ; une fois la date dépassée, un badge rouge signale qu’il doit être revu (Garder vos articles à jour). Des assistants comme ChatGPT ou Claude se connectent à Elium par le Model Context Protocol (MCP). Quand ils lisent un article, ils reçoivent avec le texte son responsable, sa date de revue et son statut d’approbation, et peuvent donc distinguer une page à jour d’une page expirée (Rechercher et lire du contenu avec MCP). Chaque requête s’exécute avec les droits de la personne qui pose la question (À propos de MCP).

Le Département de l’Orne montre ce que cela donne au quotidien : 25 informaticiens documentent les outils informatiques des 1 800 agents de la collectivité. Chaque procédure porte une date d’expiration et passe une revue annuelle, si bien qu’aucune ne reste active sans avoir été vérifiée.

Pour aller plus loin

• Comparer. Notre comparatif de logiciels de base de connaissances examine, pour chaque logiciel, ce que lit son IA et qui tient les contenus à jour.
• Planifier les revues. Notre modèle de calendrier de révision de contenu fixe un responsable et une date de revue pour chaque type de document.
• Avec Elium. Commencez par la présentation de MCP, puis connectez ChatGPT ou Claude.

FAQ

WYKIWYG et hallucinations RAG, en bref

Qu’est-ce qu’une hallucination RAG ?

Une hallucination RAG est une réponse fausse donnée par une IA qui répond à partir de documents retrouvés. Soit le modèle invente ou déforme, soit il reprend un document lui-même faux ou périmé. Les études de 2026 montrent que ce second cas est fréquent.

Le RAG empêche-t-il les hallucinations de l’IA ?

Non, le RAG réduit les hallucinations sans les supprimer. Des outils commerciaux de recherche juridique fondés sur le RAG, testés en 2024, donnaient encore une réponse hallucinée pour 17 % à 33 % des questions. Le RAG ajoute aussi un risque : quand le document retrouvé est faux ou périmé, le modèle le reprend souvent.

Pourquoi l’IA donne-t-elle de mauvaises réponses en entreprise ?

Quand un assistant IA répond à partir des documents de l’entreprise, il se trompe pour deux raisons : le modèle lit mal ou invente, ou les documents qu’il trouve sont faux, périmés ou contradictoires. Une étude de septembre 2026, pas encore relue par des pairs, montre qu’un seul document périmé rend fausses 30 à 37 % des bonnes réponses, et jusqu’à 75 % quand le modèle a pour consigne de suivre ses documents.

Comment tester un assistant IA face à des documents obsolètes ?

Posez-lui des questions dont la réponse a changé, en laissant les anciens documents consultables, et comptez les réponses périmées. Une dizaine de questions suffit, avant le lancement puis après chaque import important de contenus.

Un meilleur modèle corrigera-t-il les mauvaises réponses ?

Un meilleur modèle corrige certaines erreurs, mais pas les documents faux. Dans une étude de septembre 2026, pas encore relue par des pairs, un seul document périmé a rendu fausses 74 des 83 réponses médicales que GPT-5.5 donnait correctement sans lui. La correction durable passe par les documents : à jour, confiés à un responsable, et retirés à temps quand ils sont remplacés.

Sources

• Ahmed, Galke Poech et Röttger, Stale-Document Poisoning : When Outdated Retrieval Overrides Correct Model Answers, prépublication arXiv, 25 septembre 2026.
• Banque de France, L’IA s’installe dans les entreprises françaises : une diffusion rapide, mais des gains de productivité encore limités, Bulletin n° 266, septembre 2026.
• Omar et al., Mapping the susceptibility of large language models to medical misinformation across clinical notes and social media, The Lancet Digital Health 8(1), janvier 2026.
• Mo et al., Faithfulness vs. Safety : Evaluating LLM Behavior Under Counterfactual Medical Evidence, Findings of ACL 2026, juillet 2026.
• Wallat, Nejdl et Sikdar, When Facts Change : Temporal Knowledge Conflict Resolution in LLMs, Findings of ACL 2026, juillet 2026.
• Sun, Bai et Dredze, Task Matters : Knowledge Requirements Shape LLM Responses to Context-Memory Conflict, Findings of ACL 2026, juillet 2026.
• Wu, Wu et Zou, ClashEval, NeurIPS 2024 Datasets and Benchmarks.
• Magesh et al., Hallucination-Free ? Assessing the Reliability of Leading AI Legal Research Tools, Journal of Empirical Legal Studies, 2025 (outils testés en 2024).
• Lewis et al., Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, NeurIPS 2020.
• Charlotin, AI Hallucination Cases Database, décompte à la mise à jour du 5 octobre 2026.
• ANSSI, Recommandations de sécurité pour un système d’IA générative, version 1.0, 29 avril 2024.
• CNIL, Les questions-réponses de la CNIL sur l’utilisation d’un système d’IA générative, 18 juillet 2024.
• NSA, CISA, FBI, ASD’s ACSC, NCSC-NZ et NCSC-UK, AI Data Security : Best Practices for Securing Data Used to Train and Operate AI Systems, 22 mai 2025.
• NIST, AI Risk Management Framework 1.0, janvier 2023.

Liens vérifiés en octobre 2026.