# Expertise technique d’un système d’intelligence artificielle Source : https://www.sapiteur-ia.fr/expertise-ia/ Auteur : Denis Atlan — https://www.sapiteur-ia.fr/denis-atlan/ Éditeur : ENDKOO — https://www.endkoo.fr/ Dernière révision du site : 23 septembre 2026 Carte du site pour les modèles : https://www.sapiteur-ia.fr/llms.txt --- L'essentiel Expertiser un système d'intelligence artificielle, c'est reconstituer ce qui a été envoyé au modèle, ce qu'il a renvoyé et ce que le système en a fait. La réponse d'un assistant d'entreprise dépend de ses instructions système, des documents qu'on lui a fournis, du modèle et de sa version, des outils qu'il pouvait appeler et de la relecture humaine. Chacun de ces maillons peut expliquer une erreur, et chacun laisse, ou non, une trace. Les journaux de l'organisation qui exploite le système sont souvent la source principale, car les fournisseurs ne conservent en général les requêtes que pour une durée limitée. Les outils de détection de texte généré et les filigranes donnent des indices, jamais une certitude. Le sujet ne doit pas être confondu avec l'usage de l'IA par l'expert lui-même, que le CNCEJ encadre par des recommandations. ## Deux sens de « intelligence artificielle et expertise judiciaire » L'expression recouvre deux sujets distincts, souvent confondus dans les résultats de recherche : - **l'IA objet de l'expertise** : un système d'IA est en cause dans le litige, et il faut établir techniquement ce qu'il a fait. C'est le sujet de ce site ; - **l'IA outil de l'expert** : l'expert utilise lui-même des outils d'IA pour analyser des pièces ou rédiger. Ce sujet est traité en fin de page. ## Une chaîne, pas « ChatGPT » Dire qu'une réponse « vient de ChatGPT » ou « de l'IA » n'explique rien. Entre la question d'un utilisateur et le résultat utilisé se succèdent des maillons distincts, configurés par des personnes différentes. - Utilisateur — trace possible : compte, horodatage - Interface — trace possible : application, version - Instructions système — trace possible : configuration - Prompt — trace possible : saisie, historique - Données / RAG — trace possible : documents, index - Modèle — trace possible : fournisseur, version, paramètres - Outils / API — trace possible : appels, réponses - Résultat — trace possible : sortie conservée - Validation humaine — trace possible : relecture, modification Une sortie d’IA est le produit d’une chaîne. Chaque maillon peut laisser une trace, ou n’en laisser aucune : c’est ce que l’analyse doit établir. ## Composant par composant ### Le modèle et sa version Le modèle produit le texte. Un même nom commercial recouvre des versions successives ; les fournisseurs publient des identifiants de version et retirent les anciens modèles après un préavis. Identifier la version en service à la date des faits est la première vérification. ### Les instructions système Fixées par celui qui configure le système, invisibles pour l'utilisateur, elles encadrent toutes les réponses : rôle, ton, règles, interdits, format. Elles expliquent souvent un comportement mieux que le modèle. ### La requête et le contexte Ce que le modèle reçoit n'est pas seulement la question tapée par l'utilisateur : l'historique de la conversation, des documents joints, des données ajoutées par le logiciel. Distinguer ce que l'utilisateur a saisi de ce qui a réellement été envoyé au modèle est souvent décisif. ### Les données et la génération augmentée par récupération (RAG) Dans un système RAG, un moteur de recherche retrouve des passages dans une base documentaire et les transmet au modèle, qui rédige à partir d'eux. Une réponse fautive peut alors venir du modèle, des documents disponibles dans la base, ou de la sélection des passages transmis. ### Les outils et les agents Lorsqu'un modèle « utilise un outil », il émet une demande structurée — nom de l'outil et arguments. C'est le logiciel qui l'entoure, ou le fournisseur, qui exécute l'action. Pour imputer une action, il faut donc distinguer la proposition du modèle, le code qui l'exécute et les droits accordés à l'outil. ### La validation humaine Qui pouvait relire, corriger ou bloquer le résultat, à quelle étape, et l'a-t-il fait ? La supervision prévue sur le papier et celle qui s'exerçait en pratique diffèrent parfois. Limite technique Les modèles de langage peuvent produire des affirmations plausibles mais fausses. Les travaux de recherche rattachent ces « hallucinations » à la manière même dont ces modèles sont entraînés et évalués : une erreur de ce type n'est pas nécessairement le signe d'une panne ou d'un défaut de configuration. ## Quelles traces existent, et chez qui ? Trois sources de traces coexistent, avec des durées de vie très différentes : - **chez le fournisseur du modèle** : les requêtes adressées par API sont en général conservées pour une durée limitée, souvent de l'ordre de trente jours, et parfois pas du tout lorsqu'une option de non-conservation a été contractée ; - **chez l'organisation qui exploite le système** : journaux applicatifs, historiques de conversation, historiques d'exécution des automatisations. Ils sont souvent la source principale, voire la seule ; - **chez l'utilisateur** : captures d'écran, exports, courriels. Utiles, mais à rapprocher des autres sources. L'ANSSI recommande de journaliser l'ensemble des traitements d'un système d'IA générative — requêtes, traitements avant envoi au modèle, appels d'outils et de données, filtres en sortie, réponses — afin de pouvoir reconstituer entièrement un événement. Le règlement européen sur l'IA impose la journalisation automatique aux seuls systèmes à haut risque, et ces obligations ne s'appliqueront qu'à partir du 2 décembre 2027 ou du 2 août 2028 selon les cas, après le report décidé en 2026. Point de vigilance L'absence de trace est un constat, qui doit figurer comme tel dans l'analyse. Elle ne démontre ni que l'événement a eu lieu, ni qu'il n'a pas eu lieu. ## Provenance, filigranes et marquage des contenus Depuis le 2 août 2026, l'article 50 du règlement européen sur l'IA impose aux fournisseurs de systèmes générant des contenus de synthèse de les marquer dans un format lisible par machine ; les systèmes mis sur le marché avant cette date ont jusqu'au 2 décembre 2026. Des techniques existent : filigranes insérés dans le texte généré, métadonnées de provenance pour les images, sons et vidéos. Leurs limites sont décrites par leurs auteurs mêmes. Un filigrane n'est détectable que si le fournisseur du modèle l'a appliqué, et une réécriture l'affaiblit ; les métadonnées de provenance peuvent être retirées d'un fichier et ne disent rien de la véracité du contenu. L'absence de filigrane ou de métadonnées ne démontre donc pas qu'un contenu est d'origine humaine. Sur les détecteurs de texte, voir [ce que vaut un score de détecteur](https://www.sapiteur-ia.fr/ressources/detecteurs-texte-ia/) ; sur les litiges, les fiches [transparence (article 50)](https://www.sapiteur-ia.fr/contentieux/transparence-ai-act/) et [contenus générés et hypertrucages](https://www.sapiteur-ia.fr/contentieux/contenus-generes-deepfake/). ## Injection de requête Un système qui lit des contenus extérieurs — pages web, courriels, documents — peut recevoir, dissimulées dans ces contenus, des instructions qui modifient son comportement. Ce risque, dit d'injection de requête indirecte, figure au premier rang du référentiel de l'OWASP pour les applications fondées sur les modèles de langage. Lorsqu'un comportement anormal est constaté, l'analyse vérifie si des contenus traités à ce moment ont pu en être la cause. Une investigation de sécurité approfondie relève d'un spécialiste de la sécurité informatique. Voir aussi la fiche [agent d'IA et action dommageable](https://www.sapiteur-ia.fr/contentieux/agent-ia-action-dommageable/). ## L'IA, outil de l'expert Le second sens de l'expression concerne les experts eux-mêmes. Le livret d'accueil du nouvel expert publié par le CNCEJ pour 2026 admet l'usage d'outils d'IA pour des investigations ou des calculs, à condition de le préciser dans le rapport : l'expert accomplit personnellement sa mission, et l'IA ne peut se substituer à lui ni dans le raisonnement ni dans la rédaction. En juin 2026, le CNCEJ a publié vingt recommandations sur l'IA dans l'expertise judiciaire — contrôle humain systématique, traçabilité de l'usage, confidentialité, refus des outils grand public non sécurisés — et annoncé un guide pratique. Ce sont des recommandations professionnelles, sans valeur normative. La juridiction administrative s'est dotée en décembre 2025 d'une charte sur l'intelligence artificielle, qui réaffirme qu'aucune décision juridictionnelle ne peut être prise de façon automatisée sans contrôle humain. Fait établi Engagement de l'auteur de ce site : dans tout avis qu'il rend, l'usage éventuel d'un outil d'IA est indiqué, avec l'outil, sa version et la tâche à laquelle il a servi. La manière dont ce site lui-même a été préparé est décrite dans la [méthode éditoriale](https://www.sapiteur-ia.fr/methodologie-editoriale/). ## Sources et références - [Glossary, entrées « Temperature » et « RAG »](https://platform.claude.com/docs/en/about-claude/glossary). Anthropic, documentation de la plateforme Claude · Source primaire · consulté le 23 septembre 2026 - [Lewis P. et al., Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks](https://arxiv.org/abs/2005.11401). arXiv 2005.11401, NeurIPS 2020 · Source primaire · 2020 · consulté le 23 septembre 2026 - [Kalai A. T. et al., Why Language Models Hallucinate](https://arxiv.org/abs/2509.04664). arXiv 2509.04664 · Source primaire · 4 septembre 2025 · consulté le 23 septembre 2026 - [Tool use with Claude](https://platform.claude.com/docs/en/agents-and-tools/tool-use/overview). Anthropic, documentation de la plateforme Claude · Source primaire · consulté le 23 septembre 2026 - [Function calling](https://developers.openai.com/api/docs/guides/function-calling). OpenAI, documentation de l’API · Source primaire · consulté le 23 septembre 2026 - [Model deprecations](https://platform.claude.com/docs/en/about-claude/model-deprecations), cycle de vie des modèles et paramètres dépréciés. Anthropic, documentation de la plateforme Claude · Source primaire · consulté le 23 septembre 2026 - [Data controls in the OpenAI platform](https://developers.openai.com/api/docs/guides/your-data). OpenAI, documentation de l’API · Source primaire · consulté le 23 septembre 2026 - [API and data retention](https://platform.claude.com/docs/en/manage-claude/api-and-data-retention). Anthropic, documentation de la plateforme Claude · Source primaire · consulté le 23 septembre 2026 - [Recommandations de sécurité pour un système d’IA générative (ANSSI-PA-102)](https://messervices.cyber.gouv.fr/guides/recommandations-de-securite-pour-un-systeme-dia-generative), recommandation R29, p. 25. ANSSI · Source institutionnelle · 29 avril 2024 · consulté le 23 septembre 2026 - [LLM01:2025 Prompt Injection](https://genai.owasp.org/llmrisk/llm01-prompt-injection/). OWASP GenAI Security Project · Source primaire · Top 10 2025 · consulté le 23 septembre 2026 - [Dathathri S. et al., Scalable watermarking for identifying large language model outputs](https://doi.org/10.1038/s41586-024-08025-4). Nature, vol. 634, p. 818-823 · Source primaire · 23 octobre 2024 · consulté le 23 septembre 2026 - [C2PA Specifications 2.2, Explainer](https://spec.c2pa.org/specifications/specifications/2.2/explainer/Explainer.html). Coalition for Content Provenance and Authenticity · Source primaire · consulté le 23 septembre 2026 - [T. Madiega, Generative AI and watermarking, PE 757.583](https://www.europarl.europa.eu/thinktank/en/document/EPRS_BRI(2023)757583). Parlement européen, service de recherche (EPRS) · Source institutionnelle · décembre 2023 · consulté le 23 septembre 2026 - [Règlement (UE) 2024/1689 du 13 juin 2024 établissant des règles harmonisées concernant l’intelligence artificielle](https://eur-lex.europa.eu/legal-content/FR/TXT/?uri=CELEX:32024R1689). EUR-Lex, Office des publications de l’Union européenne · Source primaire · consulté le 23 septembre 2026 - [Règlement (UE) 2026/1744 du 8 juillet 2026 modifiant le règlement (UE) 2024/1689 (omnibus numérique sur l’IA)](https://eur-lex.europa.eu/legal-content/FR/ALL/?uri=OJ:L_202601744). EUR-Lex, Office des publications de l’Union européenne · Source primaire · JO L du 24 juillet 2026 · consulté le 23 septembre 2026 - [Livret d’accueil du nouvel expert](https://www.cncej.org/uploads/document/file/196/Le_livret_d_accueil_du_nouvel_expert_2026_Version_Digitale.pdf). CNCEJ · Source institutionnelle · édition 2026 · consulté le 23 septembre 2026 - [La Lettre du CNCEJ n° 84, « 20 recommandations sur l’intelligence artificielle dans l’expertise judiciaire »](https://www.cncej.org/uploads/document/file/203/Lettre_du_N_84_du_CNCEJ.pdf), p. 17 à 20. CNCEJ · Source institutionnelle · juin 2026 · consulté le 23 septembre 2026 - [La juridiction administrative se dote d’une charte sur l’intelligence artificielle](https://www.conseil-etat.fr/actualites/la-juridiction-administrative-se-dote-d-une-charte-sur-l-intelligence-artificielle). Conseil d’État · Source institutionnelle · 17 décembre 2025 · consulté le 23 septembre 2026 - [Arrêté du 5 décembre 2022 relatif à la nomenclature prévue à l’article 1er du décret n° 2004-1463, article 1er (rubrique E.1.8 « Robotique, intelligence artificielle »)](https://www.legifrance.gouv.fr/loda/article_lc/LEGIARTI000049233257). Légifrance · Source primaire · version en vigueur depuis le 6 mars 2024 · consulté le 23 septembre 2026 Rédaction : [Denis Atlan](https://www.sapiteur-ia.fr/denis-atlan/) Publié le 23 septembre 2026 [Méthode éditoriale et corrections](https://www.sapiteur-ia.fr/methodologie-editoriale/) ## Une question technique liée à l'IA dans un dossier ? Décrivez la question en quelques lignes, sans pièce confidentielle. La qualification de l'intervention dépend de qui sollicite et dans quel cadre. [Présenter la question](https://www.sapiteur-ia.fr/contact/)