Préparer une question technique sur un système d'IA
Une demande bien cadrée tient en une question précise, une période, et la liste des éléments disponibles. Cette page donne une matrice, une fiche de préparation, un inventaire vierge et une checklist, utilisables sans formulaire.
Avant d'examiner un système d'IA, il faut savoir quelle question technique est posée, sur quelle période, et quels éléments existent pour y répondre. Une réponse contestée, une action automatique ou un gain annoncé ne se jugent pas sur leur seul résultat : il faut en général les entrées, les sorties, le contexte intermédiaire, les versions et l'historique. Cette page propose une matrice qui relie chaque type de question aux éléments nécessaires et à la limite de ce que l'examen peut établir, une fiche de préparation en onze points, un inventaire vierge des éléments et une checklist de cadrage. Ces supports aident à préparer une demande ; ils ne constituent ni un protocole de saisie ou d'investigation, ni une garantie qu'une question pourra être tranchée. Certaines questions de la matrice relèvent d'un autre spécialiste que Denis Atlan : son périmètre est décrit sur la page périmètre et modalités.
Question, éléments nécessaires et portée de la réponse
| Question technique | Éléments pour commencer | Ce que l'examen peut viser | Limite |
|---|---|---|---|
| Pourquoi l'assistant a-t-il donné cette réponse ? | Question, réponse, contexte transmis, versions et paramètres disponibles | Relier des propositions aux éléments disponibles | La génération exacte peut rester non reconstituable |
| A-t-il utilisé un document obsolète ? | Versions, dates d'effet retenues, index et traces de récupération | Comparer version attendue et version fournie | Un document disponible aujourd'hui ne prouve pas sa disponibilité passée |
| Une instruction insérée dans un document a-t-elle influencé l'assistant ? | Document, contexte, instructions du système accessibles, sorties comparatives | Tester la compatibilité avec cette hypothèse dans un environnement maîtrisé | Un test reproduit ne prouve pas l'occurrence historique |
| Une validation a-t-elle été contournée ? | Historique des états, règles, révisions et exécutions | Comparer règle appliquée et intention documentée | Un état actuel ne donne pas l'état antérieur |
| Une action a-t-elle été exécutée deux fois ? | Identifiants, traces des reprises, confirmations du service destinataire | Distinguer tentative, exécution et confirmation | Un journal local seul peut ne pas établir l'effet externe |
| Le gain de temps annoncé est-il comparable ? | Volumes, tâches, temps, contrôle et reprises avant et après | Recalculer sur un périmètre homogène | Une variation simultanée peut expliquer une partie de l'écart |
| Le gain de temps est-il une économie ? | Dépenses supprimées, coûts ajoutés, investissement et attribution | Distinguer capacité et dépenses évitées | La valorisation horaire n'est pas une économie constatée |
| Le score d'un détecteur prouve-t-il l'origine du texte ? | Outil, version, signification du score et protocole d'essai | Examiner la portée réelle de l'indicateur | Aucun verdict d'auteur sur le seul score |
| Une capture permet-elle de reconstituer l'exécution ? | Capture et provenance, historique, exports et pièces complémentaires | Décrire ce qu'elle montre et ce qu'elle omet | Une capture ne restitue pas automatiquement la configuration |
Fiche de préparation
À remplir sans joindre de pièce : fiche-preparation.txt. Ses onze rubriques : fonction et qualité du demandeur ; cadre, ou « indéterminé » ; système et usage concernés ; fait observé, sans attribution de responsabilité ; question en une phrase ; date ou période, avec fuseau ; catégories de pièces disponibles ; versions connues et manquantes ; échéance et sa raison ; attente du premier échange ; incertitudes déjà identifiées.
Exemple rempli, tiré du cas pratique pédagogique A
Fonction : responsable opérationnel. Cadre : demande exploratoire, non qualifiée à ce stade. Système : assistant de recherche documentaire. Fait : une réponse indique un délai de 30 jours pour une commande du 20 mai. Question : la version documentaire fournie à l'assistant correspondait-elle à la date de cette commande ? Pièces annoncées : deux versions du document, une réponse et un export du contexte. Version du modèle : non connue. Attente : vérifier la faisabilité d'un examen technique. Incertitude : l'état de l'index à cette date n'est pas disponible.
Le cas complet : un assistant cite une ancienne condition commerciale.
Inventaire des éléments
Modèle vierge : inventaire-vierge.csv. Colonnes : identifiant, désignation, nature, origine déclarée, date du fait, date de collecte, fuseau, version, format, original ou copie, transformations connues, empreinte SHA-256, limites.
- La date d'un fichier ne vaut pas automatiquement date du fait.
- Origine déclarée et origine vérifiée sont deux choses différentes.
- Une empreinte détecte une modification ; elle n'authentifie pas l'auteur.
- Les transformations subies par une pièce (export, conversion, capture) se notent.
- Une case inconnue reste « inconnue », jamais complétée par supposition.
Checklist de cadrage technique
- La question porte-t-elle sur un fait et une période précis ?
- Les versions connues sont-elles distinguées de celles seulement supposées ?
- Dispose-t-on des entrées, des sorties et du contexte intermédiaire utile ?
- Une tentative est-elle distinguée d'une exécution et de sa réception ?
- La configuration examinée est-elle celle de la période concernée ?
- Les modifications et reconstitutions sont-elles identifiées ?
- Au moins une explication alternative a-t-elle été envisagée ?
- Quelle observation pourrait contredire la conclusion envisagée ?
- Quelles limites imposent l'intervention d'un autre spécialiste ?
Pour une réponse d'IA générative, le cadre du NIST recommande notamment de vérifier les sources et citations des sorties : une citation visible se contrôle, elle ne se présume pas exacte.
Modèle d'avis pédagogique
modele-avis-pedagogique.txt : question examinée ; convention et périmètre ; inventaire des pièces ; méthode et opérations effectivement réalisées ; observations reliées aux pièces ; hypothèses concurrentes ; éléments manquants et leurs conséquences ; réponse avec limites ; ce que l'exercice ne permet pas de conclure ; fichiers et programme de reproduction ; historique des corrections. Il est appliqué dans les cas pratiques pédagogiques.
Présenter une question technique
Sources et références
- NIST AI 600-1, Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile, § 2.2 (confabulation) et action MS-2.5-003 (vérifier sources et citations).
Rédaction : Denis Atlan Publié le Méthode éditoriale et corrections