Zwei Sichten auf eine Entscheidung: Vertrauenswürdige und erklärbare KI in der Praxis an der HSLU

Zwei Tage an der HSLU zum Thema „Trustworthy and Explainable Artificial Intelligence in Practice“ und eine Lektion, die alles überragt: Erklärbarkeit und Fairness sind keine getrennten Anliegen, sondern zwei Sichten auf dieselbe zu prüfende Entscheidung.

Warum dies jetzt wichtig ist

Viele KI-Systeme treffen folgenschwere Entscheidungen, ohne in einfachen Worten erklären zu können, warum. Diese Intransparenz ist ein Vertrauensproblem und zunehmend auch ein rechtliches. Der EU AI Act verlangt von Hochrisikosystemen, dass sie transparent genug sind, damit ein Anwender ihre Ergebnisse interpretieren kann, und gewährt betroffenen Personen ein Recht auf eine aussagekräftige Erklärung; die DSGVO weist seit Jahren in dieselbe Richtung. Die Distanz zwischen „Das Modell hat Sie mit 0.31 bewertet“ und „Hier ist der Grund, und das hätte das Ergebnis geändert“ ist die Distanz, die dieser Kurs zu überbrücken suchte.

Es ist auch die Distanz, für deren Überbrückung Validant.ai entwickelt wurde. Wir behandeln Vertrauen als eine architektonisch verankerte Infrastruktur und nicht als einen nachträglichen Compliance-Gedanken.

“Vertrauen ist der Grund, Fairness ist der Beweis, Identität ist der Träger und Erklärbarkeit ist die Art, wie der Beweis erbracht wird.”

Tag eins: Von der Ethik zu den Attributionen

Das Programm begann dort, wo Vertrauen beginnt: bei der Ethik. Erika Borcel stellte die digitale Ethik als Grundlage des Vertrauens vor und schlug den Bogen vom Menschen zu den Daten, von den Daten zu den Entscheidungen und hin zu den schwierigeren Fragen von Dual Use und Missbrauch. Dies ist die tragende Schicht, keine blosse Präambel. Ein korrekter SHAP-Plot, der zu einem System gehört, das niemals hätte entwickelt werden dürfen, ist immer noch ein Vertrauensbruch. Das auf der Swiss Conference on Data Science 2026 veröffentlichte Iceberg-Framework macht denselben Punkt strukturell deutlich: Vertrauensbrüche entstehen an den Nahtstellen zwischen den Ebenen Agency, Engineering, Governance und Institutionen, und Stärke in drei Ebenen kompensiert keine Schwäche in der vierten.

Luis Terán erläuterte dann die erklärbare KI selbst – was sie ist, warum Unternehmen sie brauchen, ihre rechtlichen Auswirkungen und ihre Grenzen –, bevor er auf die modellunabhängigen Methoden LIME und SHAP einging, die das Feld prägen. Dies sind genau die Methoden, die Validant für die neue XAI-Ansicht in seiner vfairness-Bibliothek gekapselt hat. SHAP ist über lokale Attributionen hinaus von Bedeutung: Da SHAP-Werte additiv sind und die Einheiten der Modellausgabe teilen, kann eine Disparität in der Gruppenfairness in die Summe der Beiträge der einzelnen Merkmale zerlegt werden. Das ist die mathematische Brücke von „Das Modell ist unfair“ zu „Dieses Merkmal verursacht die Unfairness, und zwar in diesem Ausmass“, und es ist die Grundlage für die Behauptung, dass Fairness und Erklärbarkeit zwei Sichten auf eine Entscheidung sind.

“Ein Notebook, das einen SHAP-Plot erzeugt, ist eine Demonstration. Ein System, das für jede Entscheidung eine reproduzierbare, audit-fähige Erklärung liefert, ist ein Produkt.”

Kenneth A. Bonfo leitete die praxisorientierte Session, in der Anwendungsfälle für LIME und SHAP in Google Colab bearbeitet wurden. Die Betonung der Praxis gegenüber reinen Präsentationsfolien unterstrich einen Unterschied, der die produktive Arbeit ausmacht, und die Überbrückung dieser Lücke stellt den grössten Teil der Ingenieurleistung und des Werts dar.

Tag zwei: Interpretierbarkeit, Validierung und die Toolbox

Tag zwei ging tiefer in die Grundlagen und die industrielle Realität. Prof. José María Alonso Moral, ordentlicher Professor an der Universität Santiago de Compostela, zog eine Unterscheidung, die in der Praxis oft verschwimmt: Interpretierbarkeit, Erklärbarkeit und Vertrauenswürdigkeit sind keine Synonyme. Er illustrierte Interpretierbarkeit-by-Design anhand von Fuzzy-Mengen und -Systemen, zeigte, wie interpretierbare Systeme selbsterklärend werden können, und legte grosses Gewicht auf die Validierung von Erklärungen durch intrinsische und extrinsische Methoden, Reproduzierbarkeit und Nutzerstudien.

Vergrößern

Dies spiegelt den Ansatz von Validant wider. Eine Erklärung, die überzeugend, aber nicht originalgetreu ist, ist schlimmer als keine, weil sie unverdientes Vertrauen erzeugt; deshalb liefert die XAI-Ansicht Diagnosen zur Originaltreue und Stabilität zusammen mit den Attributionen, und deshalb schreibt jede Bewertung ein wiederholbares Audit-Artefakt.

“Vertrauen ohne Überprüfbarkeit ist Marketing.”

José A. Mancera schloss mit der industriellen Toolbox und Best Practices: InterpretML, ALIBI, DiCE und ELI5, mit einem Vergleichsleitfaden und konkreten Richtlinien für den Entwurf erklärbarer Machine-Learning-Systeme. Dies ist die Landschaft, für deren Navigation die Validant-Fassade konzipiert ist. Anstatt auf eine einzige Bibliothek zu setzen, kombiniert vfairness die besten Tools hinter einer einzigen Schnittstelle – SHAP und LIME für die Attribution, DiCE für handlungsrelevante kontrafaktische Erklärungen und andere –, sodass die Methode zum Modell und zum Anwendungsfall passt. Ein Aspekt deckte sich eng mit unserer eigenen Entwicklungsarbeit: Die Auswahl eines XAI-Toolkits ist ebenso eine Lizenzentscheidung wie eine technische, da sich mehrere bekannte Toolkits von permissiven Open-Source-Lizenzen abgewendet haben, was für kommerziell vertriebene Produkte von Bedeutung ist.

Was es zu Systemen für Vertrauen und Handlungskompetenz beiträgt

Validant behandelt Fairness, digitales Vertrauen, selbstsouveräne Identität und jetzt auch Erklärbarkeit als vier Sichten auf eine einzige Vertrauensposition. Jede ist eine eigene Linse, die für Fokus und Abrufpräzision getrennt gehalten wird, doch alle führen zu einer kohärenten Bewertung eines einzigen geprüften Systems. Die in diesem Kurs behandelte XAI-Ansicht ermöglicht es einem Benutzer, LIME-, SHAP- und kontrafaktische Analysen durchzuführen, eine Fairness-Metrik in die sie bestimmenden Merkmale zu zerlegen und zielgruppengerechte Erklärungen zu erstellen: ein einfach formulierter Satz und eine kontrafaktische Erklärung für die betroffene Person, eine Risikozusammenfassung für den Vorstand, ein reproduzierbarer Nachweis für den Auditor und die vollständige Diagnosesuite für den Ingenieur.

Der Grund, warum dies für die Handlungskompetenz von Bedeutung ist, liegt auf der Hand. Eine Person kann eine Entscheidung, in die sie nicht hineinsehen kann, nicht sinnvoll anfechten, und eine Organisation kann nicht hinter einer Entscheidung stehen, die sie nicht erklären kann.

“Erklärbarkeit macht eine Entscheidung anfechtbar, und Anfechtbarkeit ist es, was automatisierte Entscheidungsfindung mit menschlicher Handlungskompetenz vereinbar macht, anstatt sie zu untergraben.”

Das ist der Standard, auf den sich der EU AI Act zubewegt, dessen Durchsetzung für Hochrisikosysteme im August 2026 in Kraft tritt, und der Standard, nach dem Validant.ai entwickelt.

Mit Dank

Vergrößern

Unser Dank gilt den Dozenten, Erika Borcel, Luis Terán, Kenneth A. Bonfo, José María Alonso Moral und José A. Mancera, sowie der HSLU für einen Kurs, der Ethik, Theorie, Praxis und industrielle Realität in Einklang brachte und die Validierung von Erklärungen ebenso ernst nahm wie ihre Erstellung. Für Organisationen, die sich auf den EU AI Act vorbereiten oder einfach nur bestrebt sind, ihre KI-Entscheidungen so erklärbar wie präzise und so fair wie erklärbar zu machen, ist dies die Arbeit, die wir bei Validant.ai leisten.

“Fairness ist der Beweis. Erklärbarkeit ist, wie wir ihn erbringen.”

Zwei Sichten auf eine Entscheidung