Décision automatisée contestée et discrimination algorithmique
Un refus de crédit, une candidature écartée ou une prestation suspendue peuvent reposer sur un score calculé par un modèle. Le litige pose deux questions techniques distinctes : quelle place la machine a-t-elle eue dans la décision, et le modèle traite-t-il différemment certains groupes ?
Une décision fondée sur un score calculé automatiquement peut être contestée sur deux terrains. Le premier est l'article 22 du RGPD, qui encadre les décisions fondées exclusivement sur un traitement automatisé et produisant des effets importants. La Cour de justice de l'Union a jugé en 2023 que le calcul d'un score par un tiers peut en relever lorsque le décideur lui accorde un rôle déterminant, et en 2025 que la personne a droit à une explication de la procédure et des principes effectivement appliqués. En droit administratif, la loi et le Conseil constitutionnel exigent mention, explication et maîtrise du traitement. Le second terrain est la discrimination. Techniquement, l'analyse établit le poids réel du score dans la décision, la possibilité effective pour un humain de s'en écarter, les variables qui peuvent servir d'indicateur indirect d'un critère protégé et les écarts entre groupes à profil comparable. Les obligations du règlement européen sur l'IA pour les systèmes de recrutement ou de crédit ne s'appliqueront qu'à partir du 2 décembre 2027.
Situation type
Une personne se voit refuser en quelques secondes un crédit à la consommation demandé en ligne. Le conseiller qu'elle joint lui indique que « le système a refusé » et qu'il ne peut rien y faire. Elle exerce son droit d'accès, obtient une liste de variables sans pondération et soupçonne que son code postal et la nature de son contrat de travail ont pesé plus que ses revenus. Elle saisit le juge.
La banque soutient qu'un analyste valide chaque refus et que le score, fourni par un prestataire, n'est qu'un élément parmi d'autres. Situations voisines : un logiciel de tri de candidatures qui écarte davantage les candidates que les candidats à profil comparable ; un organisme public qui cible ses contrôles à partir d'un score de risque.
Questions techniques que le juge ou l'expert peut poser
- La décision a-t-elle été prise exclusivement par le système, ou un humain avait-il un pouvoir réel de s'en écarter ? Combien de fois l'opérateur a-t-il modifié la sortie, et pourquoi ?
- Quel poids la sortie du modèle a-t-elle eu dans la décision : seuil automatique, recommandation, simple indicateur ?
- Quelles données ont été utilisées pour cette personne, de quelles sources, et étaient-elles exactes à la date de la décision ?
- Quelles variables pèsent le plus dans le résultat pour cette personne ? Un changement réaliste d'une donnée aurait-il changé la décision ?
- Une variable neutre en apparence (code postal, prénom, interruptions de parcours, type de contrat) sert-elle d'indicateur indirect d'un critère protégé ?
- Les taux de refus ou les scores diffèrent-ils entre groupes à profil comparable ? Sur quel échantillon, et avec quelle marge d'incertitude ?
- Quelle version du modèle était en production à la date de la décision ? A-t-il été réentraîné ou recalibré depuis ?
- Le système modifie-t-il seul les règles qu'il applique, sans validation par le responsable ?
Quelle compétence technique ?
- Statistique appliquée et apprentissage automatique : modèles de score, régression, arbres de décision.
- Explicabilité : importance des variables, analyses contrefactuelles, et leurs limites.
- Mesure des biais et des écarts entre groupes, avec leur incertitude.
- Connaissance pratique des systèmes de score bancaires ou de ressources humaines.
Éléments techniques à réunir
- Documentation du modèle et des variables, version et date de mise en production.
- Journaux de décision : entrées, score, seuil, décision, intervention humaine.
- Données de la personne telles que traitées, et leurs sources.
- Jeux de validation et mesures de performance par sous-groupe.
- Procédure de revue humaine, analyse d'impact si elle existe, contrat avec le fournisseur du score.
Textes applicables
- Règlement (UE) 2016/679 (RGPD) : décision fondée exclusivement sur un traitement automatisé, exceptions et garanties, dont le droit d'obtenir une intervention humaine (art. 22) ; droit d'accès aux informations utiles sur la logique sous-jacente (art. 15 § 1 h).
- Loi n° 78-17 du 6 janvier 1978 relative à l'informatique, aux fichiers et aux libertés, article 47 : aucune décision de justice fondée sur un traitement automatisé évaluant la personnalité ; conditions des décisions administratives individuelles automatisées ; le responsable doit maîtriser le traitement et pouvoir l'expliquer.
- Code des relations entre le public et l'administration, article L311-3-1 : mention explicite du traitement algorithmique dans la décision administrative individuelle ; communication de ses règles à la demande de l'intéressé.
- Code des relations entre le public et l'administration, article R311-3-1-2 : contenu de la communication : degré et mode de contribution du traitement, données et sources, paramètres et pondération appliqués à la situation, opérations effectuées.
- Code pénal, article 225-1 : définition de la discrimination et liste des critères protégés.
- Code pénal, article 225-2 : peines de la discrimination, notamment le refus d'un bien, d'un service ou d'une embauche.
- Règlement (UE) 2024/1689 du 13 juin 2024 établissant des règles harmonisées concernant l'intelligence artificielle : systèmes de recrutement, de gestion des travailleurs et d'évaluation de la solvabilité classés à haut risque (annexe III, points 4 et 5) ; droit à l'explication d'une décision fondée sur un tel système (art. 86).
- Règlement (UE) 2026/1744 du 8 juillet 2026 modifiant le règlement (UE) 2024/1689 (omnibus numérique sur l'IA) : obligations des systèmes à haut risque de l'annexe III reportées au 2 décembre 2027.
Décisions rendues
- CJUE, 7 décembre 2023, SCHUFA Holding (Scoring), C-634/21 (le calcul automatisé d'un score peut constituer une décision individuelle automatisée) : droit de l'Union : le calcul automatisé d'un score de solvabilité par une agence constitue une décision individuelle automatisée au sens de l'article 22 du RGPD lorsque le client qui décide lui accorde un rôle déterminant. Arrêt connu par le communiqué de la Cour.
- CJUE, 27 février 2025, Dun & Bradstreet Austria, C-203/22 (droit d'obtenir une explication de la procédure et des principes effectivement appliqués) : droit de l'Union : la personne a droit à une explication de la procédure et des principes effectivement appliqués ; la seule communication de l'algorithme ne suffit pas ; en cas de secret des affaires, les informations sont transmises à l'autorité ou au juge, qui met en balance. Arrêt connu par le communiqué de la Cour.
- Conseil constitutionnel, 12 juin 2018, n° 2018-765 DC (conditions du recours à un algorithme pour une décision administrative individuelle) : conditions du recours exclusif à un algorithme pour une décision administrative individuelle ; le responsable doit pouvoir en expliquer la mise en œuvre en détail et sous une forme intelligible ; exclusion des algorithmes susceptibles de réviser eux-mêmes les règles qu'ils appliquent sans contrôle du responsable.
- Conseil constitutionnel, 3 avril 2020, n° 2020-834 QPC (Parcoursup) (publication des critères et de l'usage de traitements algorithmiques) : Parcoursup : chaque établissement doit publier, à l'issue de la procédure, ses critères d'examen et préciser dans quelle mesure des traitements algorithmiques ont été utilisés.
Aucune décision française n'a été identifiée sur une discrimination algorithmique au sens des articles 225-1 et 225-2 du Code pénal.
Limites de l'analyse technique
- Une explication a posteriori, par importance des variables ou par méthode d'approximation, n'est pas la logique exacte du modèle : le rapport doit le dire.
- Un écart statistique entre groupes n'établit pas, à lui seul, un traitement fondé sur un critère protégé ; dire qu'une décision est discriminatoire ou contraire à l'article 22 relève du juge.
- Le modèle en production à la date de la décision peut avoir été remplacé : sans journaux ni version conservée, le calcul ne peut pas être reconstitué.
Fiches liées
- Litige sur la conformité d'un système au règlement européen sur l'IA
- Données personnelles et outils d'IA : transmission, fuite, traitement contesté
- IA et travail : management algorithmique, surveillance, consultation du CSE, plateformes
Tous les contentieux de l'IA et de la robotique
Sources et références
- Règlement (UE) 2016/679 (RGPD).
- Loi n° 78-17 du 6 janvier 1978 relative à l'informatique, aux fichiers et aux libertés, article 47.
- Code des relations entre le public et l'administration, article L311-3-1.
- Code des relations entre le public et l'administration, article R311-3-1-2.
- Code pénal, article 225-1.
- Code pénal, article 225-2.
- Règlement (UE) 2024/1689 du 13 juin 2024 établissant des règles harmonisées concernant l'intelligence artificielle.
- Règlement (UE) 2026/1744 du 8 juillet 2026 modifiant le règlement (UE) 2024/1689 (omnibus numérique sur l'IA).
- CJUE, 7 décembre 2023, SCHUFA Holding (Scoring), C-634/21, le calcul automatisé d'un score peut constituer une décision individuelle automatisée.
- CJUE, 27 février 2025, Dun & Bradstreet Austria, C-203/22, droit d'obtenir une explication de la procédure et des principes effectivement appliqués.
- Conseil constitutionnel, 12 juin 2018, n° 2018-765 DC, conditions du recours à un algorithme pour une décision administrative individuelle.
- Conseil constitutionnel, 3 avril 2020, n° 2020-834 QPC (Parcoursup), publication des critères et de l'usage de traitements algorithmiques.
Rédaction : Denis Atlan Publié le Méthode éditoriale et corrections