Dos días en la HSLU en el curso “Trustworthy and Explainable Artificial Intelligence in Practice” y una lección que destaca por encima de las demás: la explicabilidad y la Fairness no son cuestiones separadas, sino dos perspectivas de la misma decisión que se está auditando.
Por qué esto es importante ahora
Muchos sistemas de IA toman decisiones importantes sin poder explicar el porqué en un lenguaje sencillo. Esa opacidad es un problema de confianza y, cada vez más, un problema legal. La EU AI Act exige que los sistemas de alto riesgo sean lo suficientemente transparentes como para que quien los implemente pueda interpretar sus resultados, y concede a las personas afectadas el derecho a una explicación comprensible; el RGPD lleva años apuntando en la misma dirección. La distancia entre “el modelo le ha asignado una puntuación de 0.31” y “este es el motivo, y esto es lo que habría cambiado el resultado” es la distancia que este curso se propuso salvar.
Es también la distancia que Validant.ai se creó para salvar. Consideramos la confianza como una infraestructura diseñada desde el principio, en lugar de una ocurrencia tardía para cumplir la normativa.
“La confianza es la razón, la Fairness es la prueba, la identidad es el portador y la explicabilidad es la forma de mostrar esa prueba.”
Día uno: de la ética a las atribuciones
El programa comenzó donde empieza la confianza: con la ética. Erika Borcel presentó la ética digital como el fundamento de la confianza, pasando de los humanos a los datos, de los datos a las decisiones, y adentrándose en las cuestiones más difíciles del doble uso y el uso indebido. Esta es la capa que soporta la carga, no un preámbulo. Un gráfico SHAP fiel adjunto a un sistema que nunca debería haberse construido sigue siendo un fallo de confianza. El marco Iceberg, publicado en la Swiss Conference on Data Science 2026, plantea la misma cuestión estructuralmente: los fallos de confianza se producen en las uniones entre las capas de agencia, ingeniería, gobernanza e institucional, y la fortaleza en tres de ellas no compensa la debilidad en la cuarta.
Luis Terán expuso a continuación qué es la IA explicable, por qué la necesitan las empresas, sus implicaciones legales y sus limitaciones, antes de pasar a los métodos agnósticos del modelo que anclan el campo, LIME y SHAP. Estos son precisamente los métodos que Validant ha integrado en su librería vfairness para la nueva vista XAI. SHAP es importante por una razón que va más allá de las atribuciones locales: como los valores SHAP son aditivos y comparten las unidades del resultado del modelo, una disparidad de Fairness a nivel de grupo puede descomponerse en la suma de las contribuciones de cada característica. Ese es el puente matemático que va de “el modelo es injusto” a “esta característica está causando la injusticia, y en esta medida”, y es la base de la afirmación de que la Fairness y la explicabilidad son dos perspectivas de una misma decisión.
“Un notebook que genera un gráfico SHAP es una demostración. Un sistema que genera una explicación reproducible y lista para auditar para cada decisión es un producto.”
Kenneth A. Bonfo dirigió la sesión práctica, trabajando con casos de uso de LIME y SHAP en Google Colab. El énfasis en la práctica por encima de las presentaciones de diapositivas subrayó una distinción que define el trabajo de producción, y salvar la distancia entre ambos constituye la mayor parte de la ingeniería y del valor.
Día dos: interpretabilidad, validación y la caja de herramientas
El segundo día se profundizó en los fundamentos y en la realidad industrial. El Prof. José María Alonso Moral, Catedrático de la Universidad de Santiago de Compostela, estableció una distinción que los profesionales a menudo desdibujan: interpretabilidad, explicabilidad y fiabilidad no son sinónimos. Ilustró la interpretabilidad por diseño con conjuntos y sistemas difusos, mostró cómo los sistemas interpretables pueden llegar a autoexplicarse y dio un peso real a la validación de las explicaciones mediante métodos intrínsecos y extrínsecos, la reproducibilidad y los estudios de usuario.
Esto refleja el enfoque de Validant. Una explicación que es persuasiva pero no fiel es peor que ninguna, porque genera una confianza inmerecida; por eso la vista XAI incluye diagnósticos de fidelidad y estabilidad junto con las atribuciones, y por eso cada evaluación genera un artefacto de auditoría reproducible.
“La confianza sin verificabilidad es marketing.”
José A. Mancera concluyó con la caja de herramientas industrial y las mejores prácticas: InterpretML, ALIBI, DiCE y ELI5, con una guía comparativa y directrices concretas para diseñar sistemas de aprendizaje automático explicables. Este es el panorama para el que se ha diseñado la fachada de Validant. En lugar de apostar por una única librería, vfairness combina las mejores herramientas del mercado tras una única interfaz, SHAP y LIME para la atribución, DiCE para contrafactuales accionables y otras, de modo que el método se adapta al modelo y al caso de uso. Un punto coincidió estrechamente con nuestra propia ingeniería: la selección de un kit de herramientas de XAI es una decisión tanto de licencia como técnica, ya que varios kits de herramientas conocidos han abandonado las licencias de código abierto permisivas, lo que es importante para cualquier producto que se comercialice.
Su contribución a los sistemas de confianza y agencia
Validant trata la Fairness, la confianza digital, la identidad soberana y ahora la explicabilidad como cuatro perspectivas de una única postura de confianza. Cada una es una lente propia, que se mantiene separada para mayor enfoque y precisión en la recuperación, pero todas se resuelven en una única evaluación coherente de un único sistema auditado. La vista XAI que se trató en este curso permite al usuario ejecutar análisis LIME, SHAP y de contrafactuales, descomponer una métrica de Fairness en las características que la impulsan y generar explicaciones adaptadas a cada público: una frase en lenguaje sencillo y un contrafactual para la persona afectada, un resumen de riesgos para la junta directiva, un rastro de pruebas reproducible para el auditor y el conjunto completo de diagnósticos para el ingeniero.
La razón por la que esto es importante para la agencia es directa. Una persona no puede impugnar de forma fundamentada una decisión cuyo funcionamiento interno no puede ver, y una organización no puede respaldar una decisión que no puede explicar.
“La explicabilidad es lo que hace que una decisión sea impugnable, y la impugnabilidad es lo que hace que la toma de decisiones automatizada sea compatible con la agencia humana, en lugar de corroerla.”
Ese es el estándar hacia el que avanza la EU AI Act, cuya aplicación para sistemas de alto riesgo entrará en vigor en agosto de 2026, y el estándar que Validant.ai se esfuerza por cumplir.
Agradecimientos
Nuestro agradecimiento a los ponentes, Erika Borcel, Luis Terán, Kenneth A. Bonfo, José María Alonso Moral y José A. Mancera, y a la HSLU por un curso que equilibró ética, teoría, práctica y realidad industrial, y que se tomó la validación de las explicaciones tan en serio como su generación. Para las organizaciones que se preparan para la EU AI Act, o que simplemente tienen la intención de que sus decisiones de IA sean tan explicables como precisas y tan justas como explicables, ese es el trabajo que hacemos en Validant.ai.
“La Fairness es la prueba. La explicabilidad es cómo la mostramos.”
Dos perspectivas de una misma decisión
¿Se está preparando para la EU AI Act o está decidido a que sus decisiones de IA sean tan explicables como precisas y tan justas como explicables? Obtenga una lectura independiente y basada en evidencias de lo que su sistema hace realmente y de cómo se explica a sí mismo.
InvestigaciónAbrir para leerLa confianza digital es una órbita, no un pilar
La confianza no es un pilar más que añadir. Es la órbita que tres cuerpos trazan juntos: el modelo, la persona y la organización. Por qué el problema de los tres cuerpos es la metáfora más honesta para una IA fiable y cómo saber en qué punto de la órbita se encuentra.
Leer
EventosAbrir para leerNingún sistema ha sido nunca justo
Lo que aprendimos sobre la Fairness en la IA en el Trustworthy AI Circle, a partir de cuatro sesiones de grupo, la demostración de una herramienta de Fairness y más de 50 años de experiencia colectiva.
Leer
EstudiosAbrir para leerLa pregunta equivocada, planteada a gran escala
Un estudio de referencia sobre 4 millones de solicitudes de empleo muestra cómo las herramientas de contratación con IA ocultan sus sesgos, por qué un rechazo puede convertirse en un rechazo en todas partes y por qué la evaluación independiente a nivel de puesto ya no es opcional.
Leer