IA générative : hallucinations, traçabilité et valeur probatoire
Une conversation avec un assistant d'IA, une réponse générée, un document produit par un outil : ces éléments arrivent désormais dans les dossiers. Leur valeur probante relève du juge. Ce qu'ils permettent d'établir techniquement, et ce qu'ils ne permettent pas, relève de l'analyse.
En matière civile, sauf texte contraire, la preuve peut être apportée par tout moyen, et un écrit électronique vaut un écrit papier si son auteur peut être identifié et son intégrité garantie. Une capture d'écran d'une conversation avec un assistant d'IA peut donc être produite ; elle établit au mieux qu'un texte a été affiché, pas qu'il est exact, ni qu'il n'a pas été modifié, ni ce que le système a reçu. Les modèles de langage produisent parfois des affirmations plausibles mais fausses : une réponse d'IA est un fait, son contenu n'en est pas un. Les traces qui permettraient de reconstituer un échange ne sont conservées que peu de temps chez les fournisseurs. Préserver tôt l'historique, les exports et les journaux de l'organisation est souvent décisif. La valeur probante, elle, est appréciée par le juge.
Le cadre de la preuve, en bref
- Il incombe à chaque partie de prouver les faits nécessaires au succès de sa prétention.
- Hors les cas où la loi en dispose autrement, la preuve peut être apportée par tout moyen.
- L'écrit électronique a la même force probante que l'écrit papier, sous réserve que puisse être identifiée la personne dont il émane et qu'il soit établi et conservé dans des conditions de nature à en garantir l'intégrité.
- Depuis décembre 2023, une preuve obtenue de manière illicite ou déloyale n'est plus nécessairement écartée d'un procès civil : le juge met en balance le droit à la preuve et les droits en présence.
Les deux conditions de l'écrit électronique — identifier son auteur, garantir son intégrité — sont précisément des questions sur lesquelles une analyse technique peut éclairer.
Une conversation ChatGPT peut-elle servir de preuve ?
Elle peut être produite. Ce qu'elle établit est plus limité qu'il n'y paraît :
| Question | Ce qu'une capture seule permet | Ce qui peut compléter |
|---|---|---|
| Un texte a-t-il été affiché ? | L'indiquer, sous réserve d'intégrité de l'image | Historique du compte, export de la conversation |
| Qui a posé la question ? | Rien, en général | Compte utilisé, journaux de l'application, contexte |
| Le texte a-t-il été modifié ? | Rien : une page affichée se modifie aisément avant capture | Comparaison avec l'historique et les exports, métadonnées des fichiers |
| Qu'a reçu le modèle ? | Une partie seulement : instructions système, documents joints et historique n'apparaissent pas toujours | Configuration de l'outil, journaux de l'organisation |
| Le contenu est-il vrai ? | Rien : une réponse d'IA n'est pas une source | Vérification du contenu à ses propres sources |
Hallucinations : une réponse d'IA est un fait, pas une preuve de son contenu
Les modèles de langage produisent parfois des affirmations plausibles mais fausses : des faits, des références, des citations inventés, présentés avec la même assurance qu'une information exacte. Les travaux de recherche rattachent ce phénomène à la manière dont ces modèles sont entraînés et évalués, qui récompense une réponse plutôt qu'un aveu d'incertitude.
Deux questions distinctes se posent donc dans un dossier :
- le fait de la réponse : qu'un système a produit tel texte, à tel moment, dans telles conditions — question technique ;
- le contenu de la réponse : ce que le texte affirme est-il exact ? Il se vérifie à ses propres sources, comme toute affirmation.
Lorsqu'une décision ou un document a reposé sur une réponse erronée, l'analyse peut chercher si l'erreur vient du modèle, des données qui lui ont été fournies, des instructions qui l'encadraient, ou de l'absence de vérification humaine. Voir l'expertise technique d'un système d'IA.
Traçabilité : où sont les traces, et combien de temps ?
Les fournisseurs d'API ne conservent en général les requêtes que pour une durée limitée, souvent de l'ordre de trente jours, et parfois pas du tout lorsqu'une option de non-conservation a été contractée. Les modèles eux-mêmes sont mis à jour et retirés. Les journaux tenus par l'organisation qui exploite le système sont donc souvent la source principale, voire la seule ; l'ANSSI recommande de journaliser l'ensemble des traitements d'un système d'IA générative pour pouvoir reconstituer un événement.
Que conserver dès qu'un litige se dessine ?
- l'export de la conversation depuis le compte, plutôt qu'une simple capture, avec la date de l'export ;
- les journaux de l'application ou de l'automatisation concernée, avant leur rotation ;
- la configuration en vigueur à la date des faits : instructions système, paramètres, connecteurs, base documentaire ;
- l'identification du modèle et de sa version ;
- pour chaque fichier conservé, son empreinte numérique, qui permet de vérifier plus tard qu'il n'a pas changé.
Ces précautions ne préjugent pas de la valeur probante des éléments ; elles évitent qu'une question technique devienne indéterminable faute de traces.
Sources et références
- Code civil, article 1358.
- Code civil, article 1366.
- Code de procédure civile, article 9.
- Code de procédure civile, article 16.
- Code de procédure civile, article 238.
- Cass. ass. plén., 22 décembre 2023, n° 20-20.648, preuve illicite ou déloyale : mise en balance par le juge.
- Cass. ch. mixte, 28 septembre 2012, n° 11-18.710, Bull. ch. mixte n° 2, le juge ne peut se fonder exclusivement sur une expertise réalisée à la demande d'une partie.
- Kalai A. T. et al., Why Language Models Hallucinate.
- Data controls in the OpenAI platform.
- API and data retention.
- Recommandations de sécurité pour un système d'IA générative (ANSSI-PA-102), recommandation R29, p. 25.
- Model deprecations, cycle de vie des modèles et paramètres dépréciés.
Rédaction : Denis Atlan Publié le Méthode éditoriale et corrections