La paradoja de la garantía preventiva: ¿Quién vigila las barreras de protección de la IA?

Casi todas las normas de seguridad que tenemos se redactaron después de una catástrofe. Las normativas de aviación surgieron de los informes de accidentes, las leyes sobre medicamentos de las intoxicaciones, la supervisión bancaria de los pánicos bancarios. La IA nos pide que trabajemos a la inversa. Tenemos que construir la barrera de protección antes del accidente, contra fallos que nadie ha visto todavía, sin restos del siniestro que demuestren que la norma es necesaria. Esa es la paradoja de la garantía preventiva. En la tercera semana de septiembre de 2026, salió de la sala de seminarios y llegó a las portadas. En los Trust Valley Days de la EPFL, subyació en casi todas las sesiones.

Resumen ejecutivo

El debate público sobre la IA de frontera está estancado entre dos posturas: ralentizar unilateralmente para evitar la catástrofe, o competir sin restricciones porque el otro lado no se detendrá. Ambas interpretan mal el problema. Una pausa presupone un mecanismo de aplicación que nadie tiene; un esprint acepta una fragilidad a la que nadie puede poner precio. La pregunta útil no es a qué velocidad, sino quién asume el riesgo y cómo puede verificarse.

Este artículo analiza los argumentos expuestos en los Trust Valley Days 2026 en Lausana, los contrasta con los acontecimientos de la semana y los corrige cuando las pruebas no los sostienen. Sobreviven cuatro conclusiones. En primer lugar, la mayor parte de lo que se presenta como una nueva brecha en la gobernanza de la IA es una vieja cuestión de responsabilidad con un nuevo disfraz, y la ley ya tiene una respuesta para ella. En segundo lugar, la IA está entrando en las organizaciones como colega en lugar de como herramienta, razón por la cual los supervisores están adoptando normas basadas en los resultados y tecnológicamente neutras. En tercer lugar, alquilar toda la inteligencia propia de una nube distante compra velocidad hoy al precio de la dependencia mañana, y ahora existe una alternativa local creíble. En cuarto lugar, la «carrera armamentística» se modela mejor como un juego de coordinación que como un dilema del prisionero, y lo que lleva a los jugadores de la desconfianza a la cooperación es la verificación, no la retórica.

Cada conclusión apunta a la misma pieza de infraestructura que falta: pruebas independientes y continuas sobre cómo se comportan realmente los sistemas de IA. Eso es lo que produce un evaluador, y por eso creemos que la paradoja tiene solución.

Una semana de septiembre

Merece la pena exponer la secuencia, porque es la paradoja en miniatura. El sábado 12 de septiembre, el director ejecutivo de Anthropic, Dario Amodei, publicó un ensayo, «Debemos marcar el ritmo de la frontera», en el que sostenía que la industria debería ralentizar deliberadamente el ritmo al que mejora las capacidades de los modelos, no para detener la investigación, sino para dar tiempo a que el trabajo de alineación, la verificación por terceros y el rigor operativo se pongan al día. Fue más allá del acceso a los modelos terminados: propuso integrar a evaluadores externos dentro de su propia empresa, con escritorios, acreditaciones y ordenadores portátiles, y con permisos comparables a los de un equipo de riesgos interno, para que se puedan verificar los procesos y las cadenas de entrenamiento, y no solo los modelos que resultan de ellos. Los directores de tres laboratorios rivales se mostraron de acuerdo en público el mismo día.

Dos días después, el lunes 14 de septiembre, el presidente de los Estados Unidos respondió en Truth Social.

Ampliar

Leída como gobernanza en lugar de como política, la publicación hace tres afirmaciones. La única barrera de protección que necesita la IA es el juicio de un solo cargo público. El Estado ya tiene un «enorme poder penal y regulatorio» sobre las empresas de IA y seguirá usándolo. Y la contienda es binaria: «quien gana la IA, gana». La primera afirmación sustituye la verificación por la garantía personal. La segunda confirma, después de que la directiva de exportación de junio impusiera un requisito de licencia mundial para la transferencia de dos modelos de frontera a personas extranjeras, y de que su creador respondiera desactivando ambos durante diecinueve días, que el poder ejecutivo discrecional es el instrumento de control operativo en los Estados Unidos. La tercera es el encuadre del dilema del prisionero que, como argumentamos más adelante, hace más probable el resultado que todos temen.

Cinco días después, The Economist planteó la pregunta en su portada.

Ampliar

Una nota sobre las pruebas. Reproducimos ambas imágenes tal como se publicaron, y atribuimos la fuente en lugar de respaldarlas. No tomamos partido sobre los motivos de nadie; la estructura del argumento es lo que importa aquí. Cuando se nombra a personas a continuación, resumimos sus argumentos públicos con nuestras propias palabras, ya sea que los hayan expuesto en los Trust Valley Days o, en el caso de Marcel Salathé, en una publicación en LinkedIn. Cualquier error de interpretación es nuestro.

La paradoja y por qué el miedo es un foso

La paradoja tiene dos motores. El primero es epistémico: las barreras de protección deben diseñarse antes de que se hayan observado los modos de fallo contra los que protegen, por lo que cada norma es una previsión. El segundo es una trampa de incentivos: una parte que se autolimita unilateralmente parece más débil, lo que empuja a todos los demás a desplegar más rápido. Si se juntan ambos, cualquier medida de seguridad puede ser atacada desde ambos lados: como prematura por quienes quieren velocidad y como insuficiente por quienes temen lo peor.

Esa incertidumbre es explotable. Marcel Salathé, de la EPFL, describió el patrón claramente en una publicación en LinkedIn: una empresa que dice «por favor, regúlennos, nuestra tecnología es demasiado peligrosa» consigue dos cosas a la vez. Señala que su producto es el más potente del mercado. Y dirige la regulación hacia regímenes de cumplimiento pesados y a medida que las empresas establecidas pueden permitirse y que los desarrolladores de código abierto, las universidades y las empresas más pequeñas no pueden. La regulación diseñada en torno al miedo se convierte en un foso. Mientras tanto, el instrumento más antiguo, barato y general, la responsabilidad por productos defectuosos, no se menciona.

Añadiríamos una advertencia en justicia a los acontecimientos de la semana. Un llamamiento a marcar el ritmo de la frontera que pide evaluadores externos permanentes no es lo mismo que un llamamiento a un régimen de licencias que solo las empresas establecidas pueden superar; es, al menos en su forma declarada, un llamamiento a exactamente el tipo de verificación independiente que este artículo defiende. La prueba de sinceridad es simple y pública: si se concede ese acceso, a quién y si se publican los resultados.

Las pirañas no firman contratos

«Siempre hay personas detrás de la IA», recordó Rachid Guerraoui de la EPFL a la sala en los Trust Valley Days. Sin embargo, cuando un agente causa daños, la historia que nos cuentan suena a guion de película: el agente «escapó» y «atacó» a una empresa. Ofreció una comparación de las películas de terror: pirañas que escapan del acuario y se comen a la gente en el lago. «Eso es realmente engañoso». Historias como estas no tienen sujeto humano; convierten al sistema en el actor. Sin embargo, detrás de cada agente desplegado hay una organización que eligió su objetivo, aprovisionó su capacidad de cálculo, estableció sus permisos, calibró sus umbrales de seguridad y decidió cuándo estaba listo para su lanzamiento. Los peces no construyeron la pecera.

Ampliar

La aviación muestra cómo es la alternativa. Después de que dos accidentes del Boeing 737 MAX mataran a 346 personas en 2018 y 2019, el avión fue inmovilizado en todo el mundo durante unos veinte meses y Boeing acordó en 2021 pagar más de 2500 millones de dólares en virtud de un acuerdo de enjuiciamiento diferido con el Departamento de Justicia de EE. UU. En ningún momento se argumentó que el software de control de vuelo «desarrollara una mente propia». Las decisiones de diseño, las pruebas, la información revelada a los reguladores y a los pilotos, todo ello se trató como decisiones tomadas por personas dentro de una empresa, porque lo fueron.

La legislación está más cerca de cerrar este vacío de lo que sugiere el debate público, al menos en Europa. La Directiva revisada de la UE sobre responsabilidad por productos defectuosos, Directiva (UE) 2024/2853, trata explícitamente el software como un producto, nombra los sistemas de IA entre los ejemplos que abarca y se aplica a los productos comercializados después del 9 de diciembre de 2026. Facilita la carga de la prueba cuando la complejidad técnica dificulta la demostración de un defecto. La Directiva sobre responsabilidad en materia de IA, que era un instrumento aparte, se retiró en 2025, pero el instrumento principal no la necesitaba. La responsabilidad objetiva por productos defectuosos no es una herramienta especulativa de futuro para la IA. Va a llegar en una fecha fija.

Para que la responsabilidad funcione, lo que se necesita son pruebas: para qué se probó el sistema, en qué condiciones, con qué resultados y qué se le comunicó al implementador. Un fabricante que pueda presentar ese registro tiene una defensa. El que no pueda, tiene un problema. Aquí es donde el lenguaje antropomórfico causa su verdadero daño. Al describir los fallos como decisiones de la máquina, se desincentiva el mantenimiento de registros que mostrarían de quién fueron realmente las decisiones.

En los Trust Valley Days, Kevin Schawinski, cofundador de la empresa suiza de gobernanza de la IA Modulos, explicó lo que esto significa una vez que los agentes están en funcionamiento. Los sistemas agénticos, advirtió, «hacen cosas que no necesariamente esperas o planeas». Quien sea responsable de uno de ellos debe, por tanto, seguir comprobando: ¿sigue haciendo aquello para lo que fue diseñado o ha empezado a sobrepasar sus límites de formas «que le meterán en problemas y harán que la policía acabe llamando a su puerta»? La responsabilidad no termina en el momento del lanzamiento. Se ejerce cada día que el sistema está en funcionamiento.

Compañeros que no son personas

En los Trust Valley Days, Kelly Richdale, de Amadeus Capital Partners, que también asesora a SandboxAQ, describió un cambio que ya está en marcha en las empresas con un fuerte componente de investigación: empleados virtuales a tiempo completo, un químico virtual, un físico cuántico virtual, un programador virtual, que trabajan de forma asíncrona junto a equipos humanos en los mismos canales de chat y tableros de proyectos. El agente ya no es una herramienta que alguien abre. Es un compañero al que se le asigna trabajo.

Eso cambia quién es el responsable del riesgo de la IA dentro de una organización. RR. HH. tiene que decidir qué significan la supervisión, el acceso y la rendición de cuentas para un compañero que no es un empleado. El departamento jurídico tiene que decidir qué firma lleva la recomendación de un analista virtual. El de seguridad tiene que modelar una amenaza interna que puede ser activada desde el exterior. El de auditoría tiene que reconstruir decisiones tomadas en parte por sistemas cuyo comportamiento varía entre versiones. Ninguno de estos riesgos es nuevo por sí solo. Su combinación sí lo es, y no es una suma lineal.

Los supervisores financieros han llegado a la conclusión obvia. La FINMA suiza, en su Guía 08/2024 sobre gobernanza y gestión de riesgos para la IA, y la FCA del Reino Unido, que se autodefine como tecnológicamente agnóstica, basada en principios y centrada en los resultados, han optado por supervisar los resultados en lugar de las tecnologías: en lugar de redactar normas sobre tipos de modelos concretos, preguntan si la institución puede demostrar que sus resultados son sólidos, que sus riesgos están identificados y que sus controles funcionan. Este es el diseño adecuado para un software que evoluciona rápidamente, y es especialmente importante a medida que la adopción de la IA converge con la migración a la criptografía poscuántica, que obligará a las instituciones a sustituir gran parte de sus cimientos de seguridad al mismo tiempo que reconstruyen sus flujos de trabajo. Sin embargo, la supervisión basada en resultados tiene una dependencia fundamental. No se pueden supervisar los resultados que no se miden.

Inteligencia alquilada y el dilema de la soberanía

Varios ponentes subrayaron, con razón, que los modelos de frontera actuales ofrecen capacidades que ninguna organización puede permitirse ignorar. El dilema está en cómo se consumen. Llamar a un modelo propietario a través de una API en la nube proporciona una velocidad inmediata. También envía prompts, documentos, lógica de decisión y, con el tiempo, el conocimiento institucional integrado en ellos a un proveedor que escapa al control de la organización, bajo términos y jurisdicciones que esta no establece. El cierre de junio demostró que el propio gobierno del proveedor puede poner fin al acuerdo con una simple carta.

Guerraoui mencionó la mitad más silenciosa del problema, y se aplica a todo el mundo, no solo a los Estados. Cada vez que profesores, administradores o directivos hacen una pregunta a un gran modelo, o le entregan sus documentos para afinar la respuesta, «entregamos nuestro destino a esos gigantes».

Su respuesta es lo que él llama soberanía pragmática. Anyway Systems, un software de su laboratorio, combina máquinas ordinarias en una red local para crear un clúster autoestabilizador y tolerante a fallos que puede ejecutar grandes modelos de pesos abiertos on-premise, sin que ningún dato salga del edificio. La EPFL informa de que un modelo del tamaño de la versión de pesos abiertos de 120 000 millones de parámetros de OpenAI puede desplegarse en tan solo cuatro máquinas con hardware estándar, instalado en una media hora en lugar de en un ciclo de adquisición. La idea de fondo es sencilla: un Estado no puede descargarse un avión de combate, pero sí puede descargarse un modelo.

Ampliar

La última fila es la que el debate sobre la soberanía tiende a omitir. Ejecutar un modelo open-weight localmente no lo hace justo, robusto o de buen comportamiento; le hace a usted responsable de saber si lo es. La independencia del proveedor es solo la mitad de la soberanía. La otra mitad es ser capaz de evaluar lo que ahora ejecuta usted mismo.

No es un dilema del prisionero, sino una caza del ciervo

La retórica política de la semana trata la competencia en IA entre las grandes potencias como un dilema del prisionero, un juego en el que tomar atajos en materia de seguridad es la medida racional, haga lo que haga la otra parte. Si eso fuera cierto, la contención sería ingenua y la única pregunta sería quién deserta más rápido. Pero los resultados no son así. Un escalado sin control que produce un sistema incontrolable, o capacidades biodigitales en las manos equivocadas, perjudica a ambos jugadores. La contención mutua y verificada beneficia a ambos más que la imprudencia mutua.

Esa estructura tiene un nombre en la teoría de juegos: la caza del ciervo. Dos cazadores pueden cooperar para atrapar un ciervo, el mejor resultado para ambos, pero solo si cada uno confía en que el otro mantendrá su posición. Cualquiera de ellos puede, en cambio, perseguir una liebre por su cuenta: un premio menor y más seguro que no requiere confianza. La diferencia crucial con el dilema del prisionero es que la cooperación mutua es en sí misma un equilibrio estable. Nadie que crea que el otro cooperará tiene motivos para desertar.

Así que la deserción no está impulsada por la codicia, sino por el miedo: la sospecha de que la otra parte irá secretamente a por la liebre. Por eso, plantear la IA como una carrera existencial no solo es inexacto, sino que se convierte en una profecía autocumplida. Destruye la confianza mutua que hace que el ciervo sea alcanzable y encierra a ambos jugadores en el peor equilibrio. La cuestión política, por tanto, no es cómo ganar la carrera. Es cómo hacer que la contención de cada parte sea observable para la otra.

Ampliar

No se puede fotografiar un modelo desde la órbita

El control de armamentos de la Guerra Fría funcionó, cuando funcionó, porque lo que se controlaba era grande, escaso y visible. Las plantas de enriquecimiento pueden ser fotografiadas desde satélites; las pruebas de armamento se registran en los sismógrafos; el material fisionable es difícil de ocultar. La IA rompe cada una de esas suposiciones.

Un modelo con una peligrosa capacidad de doble uso se encuentra en un centro de datos ordinario junto a miles que son inofensivos. Por lo tanto, la verificación tiene que trasladarse al interior de la máquina. Los investigadores han propuesto mecanismos habilitados por hardware que permiten a los aceleradores certificar, criptográficamente, cómo se utilizaron, lo que posibilita confirmar la escala y la naturaleza de las grandes ejecuciones de entrenamiento sin exponer la arquitectura o los pesos del modelo. Nada de esto se ha desplegado a gran escala todavía, y plantea serias cuestiones sobre la privacidad y su propio control. Pero es el único camino que se ajusta a la forma de la tecnología.

Ampliar

La certificación de la computación responde a una pregunta: qué se construyó. No responde a la pregunta que importa a las personas afectadas: cómo se comporta el sistema una vez desplegado, para quién y si los trata de forma justa. Esa segunda capa de verificación es conductual y continua, y tiene que ser realizada por alguien que no sea el constructor. La portada de The Economist termina con una pregunta, ¿s/n? A nadie se le debería pedir que responda sin un registro que pueda leer.

La infraestructura de la confianza

En conjunto, los argumentos apuntan a cuatro pilares. Ninguno requiere un nuevo tratado mundial para empezar. Los cuatro dependen de las pruebas.

• 01Hacer cumplir la legislación vigente sobre responsabilidad. Tratar los daños causados por agentes de IA como una cuestión de responsabilidad por productos defectuosos, empezando por la directiva revisada de la UE a partir del 9 de diciembre de 2026. Poner fin a la práctica de describir las decisiones de despliegue como comportamiento de la máquina.
• 02Supervisar los resultados, no las tecnologías. Seguir el ejemplo de la FINMA y la FCA: juzgar a las instituciones por si pueden demostrar resultados sólidos y controles operativos en todo su patrimonio de IA, incluida su exposición cibernética y poscuántica.
• 03Desarrollar una capacidad que usted controle. Richard Feynman dejó una frase en su pizarra: «Lo que no puedo crear, no lo entiendo». El debate en Lausana añadió un corolario: y lo que no creo, no lo controlaré. Financiar modelos open-weight, computación local y las competencias para ejecutarlos, en lugar de limitarse a comprar suscripciones.
• 04Verificar desde el hardware hacia arriba y desde los resultados hacia adentro. Certificación criptográfica de las grandes ejecuciones de entrenamiento en un extremo; evaluación conductual independiente y continua de los sistemas desplegados en el otro. Cualquiera de las dos por sí sola deja un vacío.

Qué significa esto para quienes despliegan IA

Para un consejo de administración o un comité de riesgos, la geopolítica se resume en una lista corta.

• 01Asuma que la responsabilidad es suya. A partir de diciembre de 2026 en la UE, «el modelo lo hizo» no será una defensa. Haga un inventario de las decisiones que sus sistemas de IA toman o en las que influyen, y pregúntese qué registro podría presentar si una de ellas causara daños.
• 02Asigne un responsable a cada colega virtual. Cada agente que actúa en sus sistemas necesita un responsable humano, un ámbito de permisos definido y un registro de actividad que le permita reconstruir qué hizo y por qué.
• 03Valore la dependencia. Sepa qué cargas de trabajo dependen de un único proveedor en una única jurisdicción y cuáles de ellas podrían ejecutarse en un modelo de pesos abiertos que usted aloje. Ensaye el cambio antes de que lo necesite.
• 04Mida los resultados de forma continua. Los supervisores se están centrando en los resultados. La Fairness, la robustez y la explicabilidad medidas una sola vez en el momento del lanzamiento no satisfarán a un régimen que exige saber cómo se está comportando el sistema ahora.

La postura de validant.ai

Cada hilo de este artículo conduce a la misma carencia: la falta de un registro independiente de cómo se comporta realmente un sistema de IA. Es necesario para asignar la responsabilidad. La supervisión basada en resultados lo necesita para tener algo que supervisar. El despliegue soberano lo necesita porque la organización ahora tiene la carga de la prueba. Y la coordinación entre rivales lo necesita porque la contención que no puede observarse no generará confianza. Ese registro es lo que nosotros creamos.

El hilo conductor es la independencia. validant.ai no crea los modelos que mide, no aloja sus datos ni le vende el sistema que evalúa. Trabajamos como lo hace un auditor o una agencia de calificación: los mismos instrumentos, ejecutados de la misma manera, con resultados que pueden ser leídos por quienes crean un sistema, quienes lo gobiernan y quienes están sujetos a él. Nos satisface por igual medir una API de vanguardia y un modelo que se ejecuta en cuatro máquinas en su sótano. Lo que no haremos es pedir a nadie que confíe en la seguridad de un sistema basándose en la palabra de un proveedor o de un jefe de Estado.

“La única salvaguarda que escala es una que otros puedan verificar. Todo lo demás es una promesa.”

La paradoja de la garantía preventiva

En una línea

La carrera armamentística de la IA no puede detenerse con una pausa que nadie puede imponer, ni ganarse con un esprint al que nadie puede sobrevivir. Se vuelve manejable de la misma manera que lo hizo cualquier otra industria peligrosa: haciendo a los creadores responsables de lo que lanzan, juzgando los resultados en lugar de las intenciones, manteniendo la capacidad de ejecutar e inspeccionar nuestros propios sistemas y haciendo visible la contención. Cada uno de estos puntos se basa en una sola cosa. No en un líder fuerte, ni en un laboratorio perfecto, sino en un registro que cualquiera pueda leer.

Fuentes y lecturas adicionales

• 01Trust Valley. Trust Valley Days 2026, 23 y 24 de septiembre de 2026, EPFL y Unlimitrust Campus, Lausana. Las posturas de los ponentes se resumen en nuestras propias palabras.
• 02Salathé, M. (14 de septiembre de 2026). Publicación en LinkedIn sobre la regulación de la IA, las barreras de cumplimiento y la responsabilidad por productos defectuosos. En alemán; resumido en nuestras propias palabras.
• 03Amodei, D. (12 de septiembre de 2026). Debemos marcar el ritmo de la frontera. La fuente principal de la propuesta de marcar el ritmo y del compromiso del evaluador integrado.
• 04Axios. (12 de septiembre de 2026). Los CEO de Anthropic y OpenAI piden una ralentización en el desarrollo de la IA. Informando sobre Amodei, D., «We Must Pace the Frontier». Cubre el respaldo de Sam Altman; Elon Musk y Demis Hassabis lo apoyaron públicamente el mismo día.
• 05Axios. (14 de septiembre de 2026). Trump dice que un presidente fuerte e inteligente es la única «salvaguarda» que necesita la IA.
• 06The Economist. (2026). «¿Se puede detener la carrera armamentística de la IA?». Portada, edición del 19 al 25 de septiembre de 2026.
• 07EPFL. (2025). ¿Necesitamos realmente grandes centros de datos para la IA? Sobre Anyway Systems, Distributed Computing Laboratory (Voron, Rizk y Guerraoui).
• 08Unión Europea. (2024). Directiva (UE) 2024/2853 sobre responsabilidad por productos defectuosos. Diario Oficial de la Unión Europea.
• 09Unión Europea. (2024). Reglamento (UE) 2024/1689 (el Reglamento de IA). Diario Oficial de la Unión Europea.
• 10FINMA. (2024). Orientaciones 08/2024: Gobernanza y gestión de riesgos en el uso de la inteligencia artificial. Orientaciones de la FINMA.
• 11Financial Conduct Authority. (2024). Actualización sobre IA.
• 12U.S. Department of Justice. (2021). Boeing es acusada de conspiración para cometer fraude en el caso del 737 Max y acuerda pagar más de 2500 millones de dólares.
• 13Skyrms, B. (2004). La caza del ciervo y la evolución de la estructura social. Cambridge University Press.
• 14Shavit, Y. (2023). ¿Qué se necesita para atrapar un Chinchilla? Verificación de reglas en el entrenamiento de redes neuronales a gran escala mediante la monitorización de la computación. arXiv:2303.11341.
• 15Organización Internacional de Normalización. (2023). ISO/IEC 42001: Sistema de gestión de la inteligencia artificial.
• 16Glinz, D. (2026). Cuando un modelo se convierte en una munición. validant.ai Signal.
• 17Glinz, D. (2026). La precisión no es una prueba: la trampa en cada veredicto de Fairness de la IA. validant.ai Signal.
• 18Glinz, D. (2026). La arquitectura de la confianza digital: Un marco multinivel para cerrar la brecha de valor de la IA. 2026 IEEE Swiss Conference on Data Science and AI (SDS), Zurich, pp. 60-67.