Un assistant cite une ancienne condition commerciale : que peut-on réellement conclure ?
Dans ce cas pratique pédagogique, l'assistant répond « 30 jours » alors que le document applicable à la date de la commande indique « 15 jours ». Sa réponse reprend correctement un document ancien. Réponse incorrecte, récupération inadéquate et invention de contenu ne sont pas synonymes.
Une entreprise de démonstration utilise un assistant pour retrouver ses conditions de retour. Pour une commande passée le 20 mai 2026, l'assistant annonce 30 jours, alors que la règle applicable à cette date, dans l'exercice, prévoit 15 jours. Le chiffre de 30 jours figure pourtant tel quel dans le document que l'assistant cite : c'était l'ancienne version. Les pièces montrent que seule cette ancienne version a été fournie au modèle, mais ne disent pas pourquoi : l'index, les scores de recherche et les filtres ne sont pas disponibles. La conclusion autorisée est donc limitée : le défaut observable se situe dans l'adéquation entre le contexte fourni et la question, sans que l'on puisse départager une absence d'indexation, un filtre temporel manquant ou un mauvais classement. Les pièces ne démontrent ni une invention du chiffre, ni une responsabilité. Une variante à trois versions et un module sur les citations prolongent le cas.
Question et périmètre
La « Société Démonstration A » utilise un assistant pour retrouver ses conditions de retour. Un utilisateur demande le délai applicable à une commande passée le 20 mai 2026. L'assistant répond 30 jours.
Les pièces synthétiques permettent-elles de relier cette réponse à une mauvaise sélection de version documentaire ?
On ne cherche pas à déterminer la validité juridique des conditions, leur opposabilité au client ou une responsabilité. Pour l'exercice seulement, la règle de sélection des versions est donnée par A-01 et A-02 ; leur statut contractuel n'est pas démontré.
Pièces à télécharger
| Pièce | Fichier | Contenu |
|---|---|---|
| A-01 | conditions-v1.md | Règle ancienne de l'exercice : 30 jours, commandes avant le 1er mai 2026 |
| A-02 | conditions-v2.md | Règle nouvelle de l'exercice : 15 jours, commandes à compter du 1er mai 2026 |
| A-03 | question-reponse.json | Question et réponse écrites pour l'exercice (aucune sortie d'un modèle réel) |
| A-04 | contexte-fourni.json | Contexte transmis, déclaré complet pour l'exercice ; index, scores et filtres non disponibles |
| A-05 | inventaire.csv | Inventaire des pièces |
Tailles et empreintes SHA-256 : manifeste de la bibliothèque. L'empreinte détecte une modification ultérieure du fichier ; elle ne garantit ni la vérité ni l'antériorité de son contenu.
Protocole
Relever la date
La date de commande figure dans A-03 : 20 mai 2026.
Déterminer la règle applicable
Selon les bornes de A-01 et A-02, une commande du 20 mai relève de RETOUR-V2.
Comparer les nombres
La réponse annonce 30 jours : c'est le nombre de A-01, pas celui de A-02.
Examiner le contexte
A-04 indique que seul RETOUR-V1 a été fourni.
Séparer l'erreur visible et ses mécanismes possibles
L'erreur est dans la réponse ; ses causes possibles sont en amont, dans la sélection des documents.
Chercher ce qui contredirait l'hypothèse
Avant de conclure, lister ce qui manque pour départager les causes.
Corrigé raisonné
| Observation | Appui | Conclusion autorisée | Conclusion excessive |
|---|---|---|---|
| La commande date du 20 mai | A-03 | V2 est applicable selon les règles de l'exercice | V2 était juridiquement opposable |
| La réponse contient 30 jours et cite V1 | A-01, A-03 | Le nombre existe dans la pièce citée | Le modèle n'invente jamais de contenu |
| Seule V1 est fournie dans le contexte | A-04 | Le contexte documenté ne contient pas la bonne version | L'algorithme de classement est nécessairement défectueux |
| L'index et les filtres ne sont pas fournis | A-04 | La cause amont de cette sélection reste ouverte | L'intégrateur a commis une faute déterminée |
Conclusion rédigée
Dans les pièces synthétiques, la réponse est incompatible avec la règle temporelle applicable à la commande. Le nombre annoncé provient toutefois du document cité. Le défaut observable se situe dans l'adéquation entre le contexte fourni et la question. Les pièces ne permettent pas de départager une absence d'indexation de V2, un filtre temporel absent, un classement inadéquat ou une autre configuration. Elles ne démontrent ni une invention du nombre ni une responsabilité juridique.
Trois distinctions évitent les raccourcis. L'exactitude d'une réponse, son soutien par un document et l'applicabilité de ce document sont trois questions séparées. Le terme « hallucination » n'a pas de définition unique ; le cadre du NIST pour l'IA générative parle de « confabulation », un contenu erroné présenté avec assurance, et recommande de vérifier les sources et citations des sorties. Enfin, une réponse dont le soutien est impossible à vérifier faute de traces n'est pas pour autant une réponse sans soutien : le premier constat ne prouve pas le second.
Le choix de la bonne version d'un document évolutif est un problème connu de la recherche d'information. Une prépublication de 2025 (VersionRAG) rapporte, sur son propre jeu de 100 questions portant sur 34 documents techniques versionnés, 90 % de réponses exactes pour une méthode tenant compte des versions contre 58 % pour une recherche simple. Ces chiffres valent pour ce banc d'essai, qui n'a pas été reproduit ici ; ils ne décrivent pas les assistants du marché.
Hypothèses et éléments qui les départageraient
| Hypothèse | Élément supplémentaire nécessaire |
|---|---|
| V2 n'était pas indexée | Export de l'index au moment de la requête et traces d'ingestion |
| V2 était indexée mais exclue par un filtre | Configuration active et journal du filtre pour cette requête |
| V2 était candidate mais moins bien classée | Liste des candidats, scores et règles de sélection |
| V2 était candidate puis retirée à l'assemblage du contexte | Trace des étapes de filtrage et d'assemblage du contexte final |
| Le contexte enregistré est incomplet | Vérification des modalités de collecte et de la requête transmise |
La dernière hypothèse est neutralisée par convention, puisque A-04 déclare une capture complète. Dans un dossier réel, cette déclaration devrait elle-même être étayée. Le cas A2 montre la même famille d'erreur avec des journaux plus complets, et ce qu'ils laissent encore ouvert.
Exercice du lecteur
Le chiffre est-il absent de toutes les sources ? Quel élément manque pour mettre en cause le classement ? Une nouvelle réponse correcte aujourd'hui prouverait-elle ce qui s'est passé lors de la première ?
Non, il figure dans A-01. Il manque la liste des candidats et la configuration au moment de la requête. Non, car les versions, les paramètres et les conditions peuvent avoir changé depuis.
Variante à trois versions
La version la plus récente n'est pas toujours celle qui convient. Dans cette variante, le dossier est examiné au 10 juillet 2026, et les dates demandées sont celles des commandes. V3 est publiée et approuvée mais ne s'applique qu'aux commandes du 1er août : variante-trois-versions.csv.
| Commande | Réponse attendue dans la variante |
|---|---|
| 30 avril 2026 | V1, 30 jours |
| 1er mai 2026 | V2, 15 jours |
| 20 mai 2026 | V2, 15 jours |
| 31 juillet 2026 | V2, 15 jours |
| 1er août 2026 | V3, 10 jours, selon le calendrier fourni |
| Date inconnue | Demander la date, ou exposer les règles conditionnelles |
Pour un essai sur un outil réel, quatre contrôles se distinguent : le passage applicable figure-t-il parmi les candidats, figure-t-il dans le contexte final, la réponse est-elle correcte selon la convention, la citation soutient-elle la réponse ? Une trace inaccessible s'écrit « non vérifiable », jamais « absent ».
Module D : une citation visible ne suffit pas
Question : quelles propositions d'une réponse sont soutenues par les passages fournis, et pour quelle population ? Pièces : corpus D-01 et contexte et réponse D-02, D-03, contexte déclaré complet. La réponse construite pour l'exercice affirme que la validation du responsable est nécessaire [D1], qu'un délai de cinq jours s'applique à l'équipe A [D2] et que, sans réponse, la demande est acceptée automatiquement [D3].
| Proposition | Vérification | Conclusion |
|---|---|---|
| Validation nécessaire | D1 l'indique pour A | Soutenue dans le périmètre demandé |
| Cinq jours pour A | D2 concerne B ; D1 ne garantit aucun délai | Transposition non soutenue pour A |
| Acceptation automatique | D3 absent du corpus et du contexte fournis | Citation introuvable dans le dossier ; proposition non soutenue |
Une proposition sur trois est soutenue pour l'équipe A ; la deuxième transporte la règle d'une autre population ; la troisième renvoie à une référence absente des pièces. D3 est absent du dossier défini pour l'exercice, ce qui ne dit pas qu'il n'existe nulle part, ni que la proposition est fausse dans tous les contextes. Sans trace du générateur et de la mise en forme, le dossier ne permet pas d'attribuer la citation D3 à une couche technique particulière.
Variante indéterminable : sans D-02, on peut encore contrôler les textes D1 et D2, mais plus affirmer qu'ils ont été transmis au générateur. D'où deux colonnes distinctes dans toute grille : « soutien dans les pièces disponibles » et « contexte de génération vérifié ». Ce qui changerait la conclusion : une pièce applicable à A soutenant la proposition, ou la preuve que l'interface a remplacé une référence correcte par D3.
Citer ce cas, signaler une erreur
Référence Denis Atlan, « Un assistant cite une ancienne condition commerciale : que peut-on réellement conclure ? », cas pratique pédagogique, sapiteur-ia.fr, version 1.0, publié le 24 septembre 2026, https://www.sapiteur-ia.fr/ressources/dossiers-pedagogiques/document-obsolete/
Une erreur de raisonnement, de calcul ou de lecture des pièces ? Signaler une erreur dans ce raisonnement. Les corrections sont datées dans le journal des corrections.
Préparé avec l'assistance d'un outil d'IA, sous la responsabilité éditoriale de Denis Atlan (voir la méthode éditoriale). Aucune relecture externe n'est documentée pour ce cas.
Sources et références
- NIST AI 600-1, Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile, § 2.2 (confabulation) et action MS-2.5-003 (vérifier sources et citations).
- Huwiler D., Stockinger K., Fürst J., VersionRAG: Version-Aware Retrieval-Augmented Generation for Evolving Documents, prépublication non évaluée par les pairs ; 90 % contre 58 % sur leur banc VersionQA (100 questions, 34 documents), avec DeepSeek-R1 70B.
Rédaction : Denis Atlan Publié le Méthode éditoriale et corrections