Aucun système n'a jamais été équitable

Ce que quatre ateliers, une démonstration d'outil de Fairness et plus de cinquante ans d'expérience collective nous ont appris sur la Fairness en IA. Tiré du Trustworthy AI Circle, « Tout est juste en IA, vraiment ? »

La seule réponse qui a fait l'unanimité

Nous avons ouvert le Trustworthy AI Circle avec plus de cinquante ans d'expérience professionnelle combinée dans la salle, et nous sommes parvenus à une seule et unique conclusion claire : aucun système n'a jamais été équitable. Aucune définition unique de la Fairness n'est valable quels que soient les contextes, les rôles et les individus.

Cela pourrait ressembler à une impasse. C'était tout le contraire. C'était le seul point de départ honnête. Tout ce qui a suivi d'authentiquement utile dépendait de cette admission préalable, si bien que la session ne visait pas à fabriquer un consensus. Il s'agissait plutôt de dépouiller de son superflu un mot que tout le monde utilise et que presque personne ne définit de la même manière.

Agrandir

L'expérience : quatre salles, un outil

Pour rendre l'abstraction concrète, nous avons divisé la salle en quatre groupes et attribué à chacun un rôle organisationnel : Conseil d'administration, Opérations, Métier et Conformité. Ensuite, nous avons présenté aux quatre groupes le même scénario, celui d'une entreprise introduisant un outil de recrutement basé sur l'IA, et nous leur avons posé une question d'une simplicité trompeuse. Depuis votre position, que signifierait réellement « équitable » ?

Puis nous nous sommes effacés et avons laissé les participants être les experts.

Agrandir

Constat 1 : La Fairness est irréductiblement plurielle

Chaque groupe a produit une définition différente de la Fairness. Chaque définition était cohérente en soi. Aucun groupe n'a prétendu que sa définition était sans coût.

C'est le résultat auquel je reviens sans cesse. L'« équité » n'est pas une propriété de l'outil que l'on peut mesurer une fois pour toutes et certifier. C'est un résultat négocié entre des parties prenantes qui ont des obligations principales différentes. Le Conseil d'administration est responsable de la valeur à long terme et de la réputation. La Conformité est responsable devant la loi. Le Métier est responsable de la performance et de l'explicabilité. Les Opérations sont responsables du processus et de l'auditabilité. Chacun avait raison de son point de vue, et les définitions ne se sont pas réconciliées en un chiffre unique.

Si la Fairness était une propriété du système, quatre groupes d'experts examinant le même système convergeraient. Ce ne fut pas le cas. Ils ont divergé, de manière nette et défendable, ce qui indique que cette propriété réside dans les relations autour de l'outil, et non à l'intérieur de celui-ci.

Agrandir

Constat 2 : Même la « transparence » se fragmente

Chaque groupe a exigé la transparence. Cela semblait être un terrain d'entente jusqu'à ce que nous comparions nos notes, et le mot s'est avéré signifier quatre choses différentes.

Pour le Métier, cela signifiait l'explicabilité des recommandations. Pour le Conseil d'administration, la responsabilité culturelle des décisions prises. Pour le service juridique, une divulgation contrôlée et défendable. Pour les Opérations, un processus auditable et reproductible. Un seul mot, quatre exigences incompatibles. Si un fournisseur promet la « transparence » et qu'un acheteur entend l'une de ces quatre significations alors que le fournisseur en livre une autre, l'écart n'apparaît que lorsque le système est déjà en production et que quelqu'un demande qui est responsable.

Constat 3 : L'IA est un miroir, pas une source

Dans ma partie de la session, j'ai exploré comment cela se traduit dans le recrutement, car c'est là que l'abstraction cesse d'être académique. La leçon à en tirer est inconfortable et mérite d'être énoncée clairement : l'IA n'invente pas l'inégalité. Elle tend un miroir.

Un modèle de recrutement apprend à partir de données d'embauche historiques, et ces données encodent les préférences historiques. Même lorsque vous supprimez les attributs protégés, des proxys réintroduisent le même signal. Le prestige de l'université est corrélé à l'origine socio-économique. Le langage du CV en est également porteur, avec des termes comme « dirigé » et « exécuté » mieux notés que « collaboré » et « soutenu ». L'exemple public le plus cité, un des premiers outils de recrutement d'une grande entreprise technologique qui a appris à déclasser les CV contenant le mot « féminin », n'a pas créé un nouveau biais. Il en a reproduit un qui était déjà présent dans les données d'entraînement, puis l'a appliqué à grande échelle avec la tranquille assurance de quelque chose qui semble objectif.

Agrandir

C'est le double tranchant. L'IA perpétue les biais existants avec une efficacité redoutable et les ancre dans les décisions quotidiennes. Dans le même temps, elle rend ce biais lisible. Elle transforme un schéma qui était diffus et niable en un graphique que l'on peut pointer du doigt, ce qui force à poser la question que nous pouvions auparavant éviter : est-ce acceptable ?

“Rendre le biais visible plutôt qu'affirmé, voilà tout l'enjeu. On ne peut pas négocier un compromis que l'on refuse de regarder en face.”

Constat 4 : Nous avons commencé par les métriques pour finir par l'éthique

Nous sommes arrivés en nous attendant à une conversation sur les métriques et les outils : parité démographique, égalité des chances, égalité des probabilités, calibration. Nous sommes repartis avec la certitude que la métrique est la dernière étape, pas la première.

Une métrique de Fairness en soi n'est qu'une « chose à regarder ». C'est le contexte situationnel qui en fait la base d'une décision. Le même chiffre de disparité peut être un bruit statistique dans un contexte et un préjudice grave dans un autre, et seul le contexte permet de trancher. Supprimez le contexte et vous n'avez qu'un chiffre. Conservez-le et vous avez la responsabilité. Ainsi, avant de pouvoir opérationnaliser de manière significative quelque chose d'aussi complexe que la Fairness, il faut une discussion menée par l'éthique et ancrée dans la situation spécifique. Les mathématiques viennent après, pas avant.

Constat 5 : Il y a toujours un perdant

Aucun groupe n'a échappé au compromis. Chaque définition de la Fairness avantage quelqu'un et en désavantage quelqu'un d'autre. L'égalité des chances protège contre le risque de manquer des candidats qualifiés mais ne garantit pas une représentation égale. La parité démographique fait l'inverse. On ne peut pas toutes les satisfaire en même temps, et la littérature scientifique est claire sur le fait que plusieurs de ces définitions sont mathématiquement incompatibles.

La vraie décision n'est donc pas « ce système est-il équitable ? ». C'est plutôt « qui sommes-nous prêts à laisser perdre, et pouvons-nous défendre ce choix ? ». C'est une décision de valeurs déguisée en décision technique, et prétendre le contraire est la façon dont les organisations se dirigent aveuglément vers le préjudice, avec un dossier de conformité impeccable.

Agrandir

Ce que cela signifie pour les organisations

Plusieurs conséquences pratiques ont découlé de cette journée.

• 01Chaque organisation doit définir son propre ensemble de valeurs et les rendre explicites. La Fairness ne peut être déléguée à un paramètre par défaut dans un outil.
• 02Les intérêts des parties prenantes doivent être identifiés, discutés et pondérés de manière explicite, plutôt que d'être laissés à la discrétion de la personne en charge de la décision d'achat.
• 03La valeur actionnariale ne peut plus régner seule. Elle doit être mise en balance avec la valeur client à long terme, avec un accès équitable qui soit prouvé, transparent et responsable devant le conseil d'administration.
• 04Il ne s'agit pas d'un exercice ponctuel. La bonne réponse évolue au même rythme que la société, la technologie et les valeurs humaines, la pondération doit donc être réexaminée, et non pas définie une fois pour toutes puis classée.

La place de Validant.ai

C'est pour combler cette lacune que j'ai créé Validant.ai. La plateforme n'a pas pour but d'apposer un cachet “fair” sur un système, car ce cachet serait malhonnête. Elle existe pour rendre les compromis explicites, prouvés et auditables : une lecture indépendante de qui un système avantage, qui il désavantage, et si ce choix a été fait de manière consciente et défendable.

Considérez-la comme une fonction de notation pour la Fairness de l'IA. Non pas un verdict qui met fin à la conversation, mais une base de preuves qui rend la conversation responsable, qui relie la métrique au contexte, et qui donne à un conseil d'administration quelque chose qu'il peut réellement défendre. La Fairness, d'un point de vue mathématique, ne sera peut-être jamais pleinement réalisable. Choisir consciemment qui nous sommes prêts à laisser perdre, documenter ce choix et le mettre à jour à mesure que le monde change, voilà ce qui est réalisable, et voilà en quoi consiste le travail.

La course à la clarté

La recherche sur la Fairness est en cours depuis des décennies. Les définitions ne cessent de se multiplier et la ligne d'arrivée ne cesse de reculer. Il serait facile d'y voir un échec. Ce n'en est pas un. Le seul véritable échec serait de cesser de courir vers la clarté, ou pire, de déclarer que nous sommes déjà arrivés.

Un bon panel, ce n'est pas un accord de façade. C'est la confrontation de différentes perspectives, une véritable friction, et les questions qui doivent réellement être posées. Cette friction n'est pas un problème à aplanir. Elle est humaine, elle est nécessaire, et c'est là que le changement s'opère réellement.

Agrandir

Agrandir

Daniel Glinz travaille sur la Fairness de l'IA, la confiance numérique et la préparation à la réglementation, et est le créateur de Validant.ai. Si votre organisation est confrontée à ces mêmes questions, il collabore directement avec des entreprises pour rendre leurs biais d'IA transparents et pour réfléchir aux compromis qu'impose chaque choix en matière de Fairness. Contactez-le pour poursuivre la conversation, assister à une démonstration ou apprendre à rendre les biais visibles dans vos propres systèmes.