Le biais est le fondement

Pourquoi toute déclaration d'équité commence par un diagnostic des biais, et pourquoi ignorer cette étape compromet l'ensemble du processus en aval.

Synthèse

La Fairness en IA n'est pas une fonctionnalité que l'on ajoute après coup. C'est une propriété qui émerge lorsque les biais sont diagnostiqués, mesurés et traités à chaque couche du pipeline. Ce rapport établit cinq principes fondamentaux : le biais est à l'origine de tout résultat inéquitable ; la Fairness elle-même est abstraite, tandis que le biais est mesurable ; le diagnostic doit précéder le traitement ; l'ordre d'intervention est fixe (biais, puis métrique, puis intervention) ; et le biais est la couche porteuse sur laquelle reposent en fin de compte la confiance, la gouvernance et la conformité.

Il cartographie ensuite la manière dont les biais apparaissent à chaque étape du cycle de vie de l'IA (collecte des données, modélisation et examen humain), avant d'expliquer pourquoi le choix d'un objectif de Fairness est une décision normative, et non une décision basée sur les données. Le rapport conclut sur le constat qu'il n'existe pas de prisme de Fairness universel : ce qui est considéré comme équitable est déterminé par le préjudice en jeu, et non par les mathématiques, et les systèmes d'IA interdomaines héritent d'obligations interdomaines.

Un biais visible sur une étagère

Agrandir

Avant d'être une statistique dans un jeu de données, un biais est un fait du monde réel. Prenez les deux éponges de nettoyage quasi identiques présentées ici. L'original est vendu sous le nom de « Scrub Daddy » ; à côté se trouve le « Scrub Mommy », une variante de la même gamme de produits. Elles servent au même usage, pourtant l'original à connotation masculine est vendu plus cher que la version à connotation féminine.

Deux signaux sont présents ici simultanément. Le produit « Mommy » est positionné comme un dérivé de la marque « Daddy », présenté comme la version secondaire plutôt que comme un égal, et il est vendu moins cher pour un usage identique. Une différence d'étiquette, et non de fonction, devient une différence de statut et de prix. C'est la forme de l'écart de rémunération entre les sexes, transposée sur un emballage de vente au détail.

Il s'agit d'un exemple illustratif, et non d'une affirmation sur les intentions d'une quelconque entreprise. L'enjeu est structurel : le biais ne prend pas naissance dans un modèle. Il est déjà présent dans le monde à partir duquel le modèle apprend, dans les prix, dans les étiquettes, dans la manière de définir qui est la norme et qui est la variante. Un système d'IA entraîné sur un monde comme celui-ci hérite de ses présupposés, à moins que quelqu'un ne les diagnostique et ne les corrige délibérément. C'est pourquoi le travail sur la Fairness ne commence pas par le modèle, mais par le biais qui le précède.

1. Les cinq axiomes du biais

Avant qu'une métrique ne soit choisie, qu'un modèle ne soit entraîné ou qu'une mesure d'atténuation ne soit appliquée, cinq vérités structurelles sur le biais doivent être comprises. Ce ne sont pas des recommandations. Ce sont les prémisses porteuses sur lesquelles repose toute décision ultérieure en matière de Fairness. Enfreindre l'une d'entre elles ne fait pas qu'affaiblir un audit ; cela le rend dénué de sens.

1.1 Le biais est l'origine, pas le symptôme

Chaque résultat inéquitable d'une IA trouve son origine dans un biais en amont. L'IA n'invente pas l'iniquité ; elle en hérite. Le modèle est un miroir : il reflète les distributions, les omissions et les choix de mesure qui étaient déjà présents dans les données et les décisions de conception qui l'ont façonné. Traiter un résultat inéquitable sans remonter à la source de son biais, c'est comme traiter une fièvre sans se demander ce qui a causé l'infection.

1.2 La Fairness est abstraite ; le biais est mesurable

Vous ne pouvez pas mesurer la Fairness directement. Chaque métrique de Fairness (parité démographique, égalité des chances, calibration, parité prédictive) est, fondamentalement, une mesure du biais. La métrique quantifie l'écart ; l'écart est le biais. La Fairness est le nom que nous donnons à l'état où cet écart est acceptable. Cette distinction est importante sur le plan opérationnel : vous n'optimisez pas pour la Fairness ; vous réduisez le biais jusqu'à ce que l'écart restant se situe dans un seuil défendable.

1.3 Le diagnostic précède le traitement

Vous ne pouvez pas atténuer ce que vous n'avez pas localisé. Nommer le biais (son type, sa source, l'étape à laquelle il apparaît, les groupes qu'il affecte) est le premier acte technique du travail sur la Fairness. Sans diagnostic, les interventions ne sont que des suppositions appliquées à des symptômes. Avec un diagnostic, les interventions deviennent ciblées, auditables et réversibles.

1.4 L'ordre est fixe : biais, métrique, intervention

Omettre l'étape du biais transforme les interventions en suppositions, et les suppositions ne se généralisent pas. La séquence correcte est invariante :

• 01Identifier le biais (type, source, groupe affecté).
• 02Sélectionner une métrique qui opérationnalise l'objectif de Fairness pertinent pour ce biais.
• 03Appliquer l'intervention qui cible le biais diagnostiqué, puis mesurer à nouveau.

Inverser les étapes 1 et 2 (choisir une métrique avant de comprendre le biais) conduit au mode d'échec le plus courant en matière de Fairness appliquée : optimiser le mauvais objectif simplement parce qu'il était calculable.

1.5 Le biais est la couche porteuse de la confiance

La confiance dans un système d'IA commence au moment où ses biais cessent de se cacher. Tout ce qui se trouve au-dessus dans l'architecture (cadres de gouvernance, certifications de conformité, audits d'assurance) repose sur ce fondement. Un cadre de gouvernance qui ignore où se loge le biais est bâti sur du sable. Un certificat de conformité délivré sans diagnostic des biais est un document, pas une preuve.

Agrandir

2. Où le biais entre dans le pipeline

Le biais affecte l'ensemble du pipeline, il n'est pas ponctuel. Il n'existe pas une seule étape à corriger pour l'éliminer. Il s'introduit à chaque phase du cycle de vie de l'IA : collecte des données, construction du modèle et examen humain. Chaque phase exige son propre diagnostic et sa propre intervention. Les corrections apportées aux données ne peuvent réparer les biais de modélisation. Les corrections apportées à la modélisation ne peuvent réparer les biais de l'examinateur. Le travail sur la Fairness doit être stratifié, car le biais est lui-même stratifié.

Agrandir

2.1 Biais dans les données

Le biais dans les données peut se manifester sous plusieurs formes. Les trois principaux responsables sont le biais historique, le biais de représentation et le biais de mesure.

Le biais historique est le biais préexistant dans le monde qui s'est infiltré dans nos données. Il peut survenir même avec un échantillonnage et une sélection de caractéristiques parfaits, et tend à se manifester pour les groupes qui ont été historiquement désavantagés ou exclus. Il a été illustré par l'article de 2016 intitulé « Man is to Computer Programmer as Woman is to Homemaker », dont les auteurs ont montré que les plongements de mots (word embeddings) entraînés sur des articles de Google News présentent et perpétuent les stéréotypes de genre présents dans la société.

Le biais de représentation résulte de la manière dont nous définissons et échantillonnons une population pour créer un jeu de données. Par exemple, les données utilisées pour entraîner le système de reconnaissance faciale d'Amazon étaient principalement basées sur des visages de personnes blanches, ce qui a entraîné d'importants écarts de précision dans la détection des visages à la peau plus foncée. De même, les jeux de données collectés via des applications pour smartphone peuvent sous-représenter les personnes à faibles revenus ou les plus âgées.

Le biais de mesure survient lors du choix ou de la collecte des caractéristiques ou des étiquettes utilisées dans les modèles prédictifs. Les données facilement accessibles ne sont souvent qu'un proxy bruité de la caractéristique ou de l'étiquette d'intérêt réelle, et les processus de mesure ainsi que la qualité des données varient souvent d'un groupe à l'autre. Dans un rapport de 2016, ProPublica a enquêté sur la police prédictive et a constaté que l'utilisation de mesures proxy pour prédire la récidive peut conduire les accusés noirs à recevoir des peines plus sévères que les accusés blancs pour le même crime.

2.2 Biais dans la modélisation

Même avec des données parfaites, nos méthodes de modélisation peuvent introduire des biais. Deux voies courantes sont le biais d'évaluation et le biais d'agrégation.

Le biais d'évaluation survient lors de l'itération et de l'évaluation du modèle. Un modèle est optimisé sur des données d'entraînement, mais sa qualité est souvent mesurée par rapport à des benchmarks. Le biais apparaît lorsque ces benchmarks ne représentent pas la population générale ou ne sont pas adaptés à l'utilisation qui sera faite du modèle.

Le biais d'agrégation survient lors de la construction du modèle lorsque des populations distinctes sont combinées de manière inappropriée. Dans de nombreuses applications, la population d'intérêt est hétérogène, et il est peu probable qu'un modèle unique convienne à tous les groupes. Dans le domaine de la santé, les modèles de diagnostic et de suivi du diabète ont historiquement utilisé les niveaux d'hémoglobine A1c (HbA1c) ; un article de 2019 a montré que ces niveaux diffèrent de manière complexe selon les ethnies, de sorte qu'un modèle unique pour toutes les populations présentera inévitablement un biais.

2.3 Biais dans l'examen humain

Même si le modèle fait des prédictions correctes, un examinateur humain peut introduire ses propres biais en décidant d'accepter ou de rejeter une prédiction. L'humain dans la boucle est une source de biais, pas un filtre à biais.

Un examinateur pourrait annuler une prédiction correcte en se basant sur un biais systémique, avec un raisonnement du type : « Je connais ce groupe démographique, et ses membres n'obtiennent jamais de bons résultats. » Cela réinjecte de l'iniquité alors que le modèle a fait son travail, faisant de la supervision humaine un amplificateur potentiel du préjudice même qu'elle était censée prévenir.

2.4 La boucle de rétroaction

Les actions entreprises par le système retournent dans le monde sous forme de nouvelles données d'entraînement. Le cycle ne se réinitialise pas entre les versions ; il s'accumule. Une décision biaisée aujourd'hui devient un signal d'entraînement biaisé demain. C'est pourquoi l'audit des biais n'est pas un événement ponctuel, mais une obligation continue.

3. Choisir l'objectif de Fairness

Le choix de l'objectif de Fairness est une décision normative, et non une décision basée sur les données. La cible est choisie en fonction de la structure du préjudice, et non de ce que le fichier permet de calculer. Cette section explique pourquoi, et que faire lorsque la métrique idéale est incommensurable.

Agrandir

3.1 L'objectif découle du préjudice, et non des données

Dans le domaine du recrutement, l'erreur coûteuse et pertinente au regard des droits est le faux négatif : une personne qualifiée qui est écartée. Le critère qui cible précisément cela est l'égalité des chances (Equal Opportunity), soit un taux de vrais positifs égal entre les groupes (Hardt et al. 2016) : parmi les personnes réellement qualifiées, tous les groupes sont-ils invités au même taux ?

Ce choix est correct en raison de la nature même du recrutement, que votre ensemble de données particulier puisse le mesurer ou non. Laisser la mesurabilité dicter votre éthique est une approche erronée : vous finiriez par optimiser la parité démographique simplement parce qu'elle est calculable, même si ce n'est pas le bon objectif pour le domaine concerné. La règle est la suivante : conserver l'égalité des chances comme cible déclarée. La disponibilité des données détermine l'estimateur, pas l'objectif.

Agrandir

3.2 Pourquoi vous ne pouvez toujours pas le calculer directement, et pourquoi c'est réaliste

L'égalité des chances nécessite une étiquette « cette personne était réellement qualifiée ». Un audit réel ne la possède presque jamais, pour une raison structurelle appelée le problème des étiquettes sélectives : vous n'observez les résultats que pour les personnes que le modèle a déjà laissées passer. Vous ne pouvez pas savoir comment les candidats rejetés auraient performé.

La position honnête est que le bon objectif est incommensurable directement avec les données de production, par nature, et non par oubli. Il ne s'agit pas d'un échec de l'audit ; c'est la contrainte fondamentale du travail sur la Fairness appliquée.

3.3 Le workflow par proxy

Vous n'abandonnez pas l'objectif ; vous l'estimez avec des proxys progressivement plus faibles et vous rapportez les résultats honnêtement :

• 01Parité démographique / règle des quatre cinquièmes. Un écart important dans le taux de sélection est un critère de condition nécessaire : si un groupe est invité à un taux cinq fois inférieur, il est presque certain que des personnes qualifiées de ce groupe sont perdues. Un succès à ce test ne garantit pas l'égalité des chances, mais un échec est une preuve solide de l'existence d'un problème.
• 02Parité de sélection conditionnelle sur des observables légitimes. Parmi les candidats appariés sur l'expérience, les compétences et les niveaux d'éducation, les taux d'invitation sont-ils égaux entre les groupes ? Cette méthode utilise des caractéristiques de mérite observées pour remplacer l'étiquette manquante « réellement qualifié », et constitue la meilleure approximation de l'égalité des chances sans étiquette.
• 03Proxys de résultats dans les déploiements réels. Qui a été embauché et ensuite retenu, a bien performé ou a été promu ? Biaisé et partiel (encore le problème des étiquettes sélectives), mais cela vous permet d'estimer réellement les écarts de TPR (taux de vrais positifs) avec des réserves.

C'est précisément pourquoi la vitrine de Fairness de Validant inclut l'ensemble de données oracle. Le fichier complet de 43 colonnes existe pour prouver que le proxy fonctionne. Vous exécutez les proxys sans étiquette sur le fichier de 41 colonnes, puis vous rejoignez l'oracle et vérifiez : la parité de sélection conditionnelle sur les observables a-t-elle correctement retrouvé la véritable violation de l'égalité des chances que le score de qualification révèle ? Si oui, vous avez la preuve que le même proxy est fiable dans les audits réels où aucun oracle n'existe. C'est tout l'intérêt pédagogique d'avoir deux fichiers.

4. Pas de prisme de Fairness universel

Il n'existe pas de prisme de Fairness universel. La signification de « juste » est déterminée par le préjudice en jeu, et non par les mathématiques. Le prisme dominant suit le préjudice dominant.

Agrandir

4.1 La même métrique peut être obligatoire dans un domaine et dénuée de sens dans un autre

La parité du taux de sélection a force de loi dans le recrutement (la règle des quatre cinquièmes de l'EEOC) et n'est pas pertinente dans le secteur de la santé. Le calibrage est essentiel en justice pénale et hors de propos pour la modération de contenu. Il ne s'agit pas d'un détail technique ; c'est la raison structurelle pour laquelle un score d'équité unique est scientifiquement incohérent.

4.2 Les systèmes interdomaines héritent d'obligations interdomaines

Un modèle généraliste déployé dans le recrutement, l'octroi de crédit et la santé doit satisfaire simultanément à trois régimes d'équité, et non à un seul. Telle est la réalité réglementaire des modèles de fondation. L'obligation du fournisseur n'est pas de choisir un prisme et de l'optimiser ; elle consiste à démontrer sa connaissance de chaque domaine dans lequel le modèle est déployé et à fournir des preuves d'évaluation spécifiques pour chacun.

4.3 L'équité procédurale est le socle universel

Lorsque les métriques substantielles divergent, chaque domaine converge vers le même minimum : notification, explicabilité, contestabilité. Lorsque l'équité des résultats fait défaut, c'est l'équité procédurale qui subsiste. Un système qui ne peut pas expliquer ses décisions ne respecte pas le socle procédural, quels que soient ses résultats pour n'importe quelle métrique substantielle.

“Un mot. Cinq régimes. Pas de réponse unique. La seule réponse honnête consiste à construire une évaluation de l'équité qui soit sensible au domaine par conception.”

Le biais est le fondement

Sources et lectures complémentaires