Deux visions d'une même décision : l'IA digne de confiance et explicable en pratique à la HSLU

Deux jours passés à la HSLU pour le cours « Trustworthy and Explainable Artificial Intelligence in Practice », et une leçon à retenir avant tout : l'explicabilité et la Fairness ne sont pas des questions distinctes, mais deux perspectives sur la même décision en cours d'audit.

Pourquoi c'est important aujourd'hui

De nombreux systèmes d'IA prennent des décisions lourdes de conséquences sans pouvoir en expliquer la raison en langage clair. Cette opacité constitue un problème de confiance et, de plus en plus, un problème juridique. L'EU AI Act exige que les systèmes à haut risque soient suffisamment transparents pour qu'un opérateur puisse interpréter leurs résultats, et accorde aux personnes concernées un droit à une explication claire ; le RGPD va dans le même sens depuis des années. La distance entre « le modèle vous a attribué un score de 0.31 » et « voici pourquoi, et voici ce qui aurait changé le résultat » est la distance que ce cours visait à combler.

C'est aussi la distance que Validant.ai a été conçu pour combler. Nous traitons la confiance comme une infrastructure architecturée plutôt que comme une réflexion après coup sur la conformité.

“La confiance est la raison, la Fairness est la preuve, l'identité est le porteur, et l'explicabilité est la manière dont la preuve est démontrée.”

Premier jour : de l'éthique aux attributions

Le programme a commencé là où commence la confiance : par l'éthique. Erika Borcel a présenté l'éthique numérique comme le fondement de la confiance, en passant de l'humain aux données, des données aux décisions, pour aborder les questions plus difficiles du double usage et de l'usage abusif. Il s'agit de la couche porteuse, et non d'un préambule. Un graphique SHAP fidèle, associé à un système qui n'aurait jamais dû être construit, constitue toujours une défaillance de la confiance. Le framework Iceberg, publié lors de la Swiss Conference on Data Science 2026, exprime la même idée de manière structurelle : les défaillances de la confiance se produisent aux jonctions entre les couches relatives à l'action humaine, à l'ingénierie, à la gouvernance et aux institutions, et la solidité de trois couches ne compense pas la faiblesse de la quatrième.

Luis Terán a ensuite présenté l'IA explicable elle-même : ce qu'elle est, pourquoi les entreprises en ont besoin, ses implications juridiques et ses limites, avant de passer aux méthodes agnostiques du modèle qui ancrent le domaine, LIME et SHAP. Ce sont précisément les méthodes que Validant a intégrées dans sa bibliothèque vfairness pour la nouvelle vue XAI. SHAP est important pour une raison qui dépasse les attributions locales : comme les valeurs SHAP sont additives et partagent les unités de la sortie du modèle, une disparité de Fairness de groupe peut être décomposée en la somme des contributions par caractéristique. C'est le pont mathématique qui mène de « le modèle est inéquitable » à « cette caractéristique est à l'origine de l'iniquité, et dans cette mesure », et c'est le fondement de l'affirmation selon laquelle la Fairness et l'explicabilité sont deux visions d'une même décision.

“Un notebook qui produit un graphique SHAP est une démonstration. Un système qui produit une explication reproductible et prête pour l'audit pour chaque décision est un produit.”

Kenneth A. Bonfo a dirigé la session pratique, en travaillant sur des cas d'utilisation de LIME et SHAP dans Google Colab. L'accent mis sur la pratique plutôt que sur les présentations a souligné une distinction qui définit le travail de production, et combler l'écart entre les deux représente la majeure partie de l'ingénierie et de la valeur.

Deuxième jour : interprétabilité, validation et boîte à outils

Le deuxième jour a approfondi les fondements et la réalité industrielle. Le professeur José María Alonso Moral, professeur titulaire à l'Université de Saint-Jacques-de-Compostelle, a établi une distinction que les praticiens estompent souvent : l'interprétabilité, l'explicabilité et la fiabilité ne sont pas des synonymes. Il a illustré l'interprétabilité par conception avec des ensembles et des systèmes flous, a montré comment les systèmes interprétables peuvent devenir auto-explicatifs, et a donné un poids réel à la validation des explications par des méthodes intrinsèques et extrinsèques, la reproductibilité et les études d'utilisateurs.

Agrandir

Cela reflète l'approche de Validant. Une explication persuasive mais infidèle est pire qu'aucune explication, car elle engendre une confiance injustifiée ; c'est pourquoi la vue XAI fournit des diagnostics de fidélité et de stabilité en plus des attributions, et pourquoi chaque évaluation génère un artefact d'audit rejouable.

“La confiance sans vérifiabilité, c'est du marketing.”

José A. Mancera a conclu avec la boîte à outils industrielle et les meilleures pratiques : InterpretML, ALIBI, DiCE et ELI5, avec un guide de comparaison et des directives concrètes pour la conception de systèmes de machine learning explicables. C'est le paysage dans lequel la façade de Validant est conçue pour naviguer. Plutôt que de miser sur une seule bibliothèque, vfairness compose les meilleurs outils du marché derrière une interface unique, SHAP et LIME pour l'attribution, DiCE pour les contrefactuels exploitables, et d'autres, afin que la méthode s'adapte au modèle et au cas d'utilisation. Un point correspondait étroitement à notre propre ingénierie : la sélection d'une boîte à outils XAI est autant une décision de licence qu'une décision technique, car plusieurs boîtes à outils bien connues ont abandonné les licences open-source permissives, ce qui est important pour tout produit commercialisé.

Ce que cela apporte aux systèmes pour la confiance et l'action humaine

Validant traite la Fairness, la confiance numérique, l'identité auto-souveraine et maintenant l'explicabilité comme quatre visions d'une seule posture de confiance. Chacune est une lentille distincte, maintenue séparée pour la clarté et la précision de la recherche, mais toutes aboutissent à une évaluation cohérente d'un unique système audité. La vue XAI abordée dans ce cours permet à un utilisateur d'exécuter des analyses LIME, SHAP et contrefactuelles, de décomposer une métrique de Fairness en fonction des caractéristiques qui la déterminent, et de produire des explications adaptées au public : une phrase en langage clair et un contrefactuel pour la personne concernée, un résumé des risques pour le conseil d'administration, une piste de preuves reproductible pour l'auditeur, et la suite complète de diagnostics pour l'ingénieur.

La raison pour laquelle cela est important pour l'action humaine est directe. Une personne ne peut pas contester de manière significative une décision dont elle ne comprend pas les rouages, et une organisation ne peut pas assumer une décision qu'elle ne peut pas expliquer.

“L'explicabilité est ce qui rend une décision contestable, et la contestabilité est ce qui maintient la prise de décision automatisée compatible avec l'action humaine plutôt que de la saper.”

C'est la norme vers laquelle tend l'EU AI Act, avec une mise en application pour les systèmes à haut risque prévue pour août 2026, et la norme que Validant.ai s'engage à respecter.

Remerciements

Agrandir

Nos remerciements aux intervenants, Erika Borcel, Luis Terán, Kenneth A. Bonfo, José María Alonso Moral, et José A. Mancera, et à la HSLU pour un cours qui a su équilibrer éthique, théorie, pratique et réalité industrielle, et qui a pris la validation des explications aussi au sérieux que leur génération. Pour les organisations qui se préparent à l'EU AI Act, ou qui souhaitent simplement rendre leurs décisions d'IA aussi explicables qu'elles sont précises et aussi justes qu'elles sont explicables, c'est le travail que nous faisons chez Validant.ai.

“La Fairness est la preuve. L'explicabilité est notre façon de la démontrer.”

Deux visions d'une même décision