Le paradoxe de l'assurance préventive : qui garde les garde-fous de l'IA ?

Presque toutes nos règles de sécurité ont été écrites après une catastrophe. Les réglementations aériennes sont issues des rapports d'accidents, les lois sur les médicaments des cas d'empoisonnement, et la surveillance bancaire des paniques bancaires. L'IA nous demande de procéder à l'inverse. Nous devons construire le garde-fou avant l'accident, contre des défaillances que personne n'a encore vues, sans épave pour prouver que la règle est nécessaire. C'est cela, le paradoxe de l'assurance préventive. Durant la troisième semaine de septembre 2026, il a quitté les salles de séminaire pour faire la une des journaux. Aux Trust Valley Days à l'EPFL, il était sous-jacent à presque toutes les sessions.

Synthèse

Le débat public sur l'IA de pointe est bloqué entre deux positions : ralentir unilatéralement pour éviter la catastrophe, ou faire la course sans retenue parce que l'autre camp ne s'arrêtera pas. Les deux interprètent mal le problème. Une pause suppose un mécanisme d'application que personne ne possède ; un sprint accepte une fragilité que personne ne peut évaluer. La question pertinente n'est pas la vitesse, mais qui porte le risque et comment n'importe qui peut vérifier.

Cet article examine les arguments présentés aux Trust Valley Days 2026 à Lausanne, les confronte aux événements de la semaine et les corrige lorsque les faits ne les confirment pas. Quatre conclusions en ressortent. Premièrement, ce qui est présenté comme une nouvelle lacune dans la gouvernance de l'IA est en grande partie une vieille question de responsabilité sous un nouveau jour, et la loi y a déjà une réponse. Deuxièmement, l'IA entre dans les organisations en tant que collègue plutôt qu'en tant qu'outil, c'est pourquoi les autorités de surveillance s'orientent vers des règles basées sur les résultats et technologiquement neutres. Troisièmement, louer toute son intelligence à un cloud distant permet de gagner en vitesse aujourd'hui au prix de la dépendance demain, et il existe désormais une alternative locale crédible. Quatrièmement, la « course aux armements » est mieux modélisée comme un jeu de coordination que comme un dilemme du prisonnier, et ce qui fait passer les acteurs de la méfiance à la coopération est la vérification, pas la rhétorique.

Chaque conclusion pointe vers le même élément d'infrastructure manquant : des preuves indépendantes et continues sur le comportement réel des systèmes d'IA. C'est ce que produit un évaluateur, et c'est pourquoi nous pensons que le paradoxe peut être résolu.

Une semaine en septembre

La séquence mérite d'être exposée, car c'est le paradoxe en miniature. Le samedi 12 septembre, le directeur général d'Anthropic, Dario Amodei, a publié un essai, « We Must Pace the Frontier », soutenant que l'industrie devrait délibérément ralentir le rythme d'amélioration des capacités des modèles, non pas pour arrêter la recherche, mais pour donner le temps au travail d'alignement, à la vérification par des tiers et à la rigueur opérationnelle de rattraper leur retard. Il est allé plus loin que l'accès aux modèles finis : il a proposé d'intégrer des évaluateurs tiers au sein de sa propre entreprise, avec des bureaux, des badges et des ordinateurs portables, et des autorisations comparables à celles d'une équipe de risque interne, afin que les pipelines et les processus d'entraînement puissent être vérifiés, et pas seulement les modèles qui en résultent. Les dirigeants de trois laboratoires concurrents ont publiquement exprimé leur accord le jour même.

Deux jours plus tard, le lundi 14 septembre, le président des États-Unis a répondu sur Truth Social.

Agrandir

Lue sous l'angle de la gouvernance plutôt que de la politique, la publication avance trois affirmations. Le seul garde-fou dont l'IA a besoin est le jugement d'un seul titulaire de charge. L'État détient déjà un « pouvoir pénal et réglementaire considérable » sur les entreprises d'IA et continuera de l'utiliser. Et la compétition est binaire : « celui qui gagne l'IA, gagne. » La première affirmation remplace la vérification par une assurance personnelle. La deuxième confirme, après que la directive sur les exportations de juin a imposé une licence mondiale pour le transfert de deux modèles de pointe à des personnes étrangères, et que leur créateur a réagi en les désactivant tous les deux pendant dix-neuf jours, que le pouvoir exécutif discrétionnaire est l'instrument de contrôle opérationnel aux États-Unis. La troisième est le cadrage en dilemme du prisonnier qui, comme nous le verrons plus loin, rend plus probable l'issue que tout le monde redoute.

Cinq jours plus tard, The Economist posait la question en couverture.

Agrandir

Remarque sur les preuves. Nous reproduisons les deux images telles que publiées, et nous en citons la source sans les approuver. Nous ne prenons pas position sur les motivations de quiconque ; c'est la structure de l'argument qui importe ici. Lorsque des personnes sont nommées ci-dessous, nous résumons leurs arguments publics dans nos propres termes, qu'ils aient été exprimés aux Trust Valley Days ou, dans le cas de Marcel Salathé, dans une publication sur LinkedIn. Toute erreur d'interprétation nous est imputable.

Le paradoxe, et pourquoi la peur est une barrière à l'entrée

Le paradoxe a deux moteurs. Le premier est épistémique : les garde-fous doivent être conçus avant que les modes de défaillance contre lesquels ils protègent n'aient été observés, donc chaque règle est une prévision. Le second est un piège incitatif : une partie qui se contient unilatéralement paraît plus faible, ce qui pousse toutes les autres à déployer plus rapidement. Mettez les deux ensemble et toute mesure de sécurité peut être attaquée des deux côtés, comme étant prématurée par ceux qui veulent de la vitesse et comme étant insuffisante par ceux qui craignent le pire.

Cette incertitude est exploitable. Marcel Salathé de l'EPFL a clairement nommé ce schéma dans une publication sur LinkedIn : une entreprise qui dit « s'il vous plaît, réglementez-nous, notre technologie est trop dangereuse » obtient deux choses à la fois. Elle signale que son produit est le plus puissant du marché. Et elle oriente la réglementation vers des régimes de conformité lourds et sur mesure que les acteurs établis peuvent se permettre, mais pas les développeurs open-source, les universités et les petites entreprises. La réglementation conçue autour de la peur devient une barrière à l'entrée. Pendant ce temps, l'instrument plus ancien, moins cher et plus général, la responsabilité du fait des produits défectueux, n'est pas mentionné.

Nous ajouterions une mise en garde par souci d'équité envers les événements de la semaine. Un appel à modérer le rythme à la frontière qui demande des évaluateurs externes permanents n'est pas la même chose qu'un appel à un régime de licences que seuls les acteurs établis peuvent satisfaire ; c'est, du moins dans sa forme déclarée, un appel au type exact de vérification indépendante que cet article préconise. Le test de sincérité est simple et public : cet accès est-il accordé, à qui, et les résultats sont-ils publiés.

Les piranhas ne signent pas de contrats

« Il y a toujours ces gens derrière l'IA », a rappelé Rachid Guerraoui de l'EPFL à l'auditoire des Trust Valley Days. Pourtant, lorsqu'un agent cause des dommages, l'histoire qu'on nous raconte ressemble à un scénario de film : l'agent s'est « échappé » et a « attaqué » une entreprise. Il a proposé une comparaison tirée des films d'horreur : des piranhas s'échappant de l'aquarium et dévorant des gens dans le lac. « C'est vraiment trompeur. » Des histoires comme celles-ci n'ont pas de sujet humain ; elles font du système l'acteur. Pourtant, derrière chaque agent déployé se trouve une organisation qui a choisi son objectif, fourni sa puissance de calcul, défini ses autorisations, calibré ses seuils de sécurité et décidé quand il était prêt à être lancé. Le poisson n'a pas construit l'aquarium.

Agrandir

L'aviation montre à quoi ressemble l'alternative. Après que deux accidents de Boeing 737 MAX ont tué 346 personnes en 2018 et 2019, l'avion a été cloué au sol dans le monde entier pendant une vingtaine de mois et Boeing a accepté en 2021 de payer plus de 2,5 milliards de dollars dans le cadre d'un accord de poursuite différée avec le ministère de la Justice américain. À aucun moment il n'a été avancé que le logiciel de commande de vol « avait développé une volonté propre ». Les choix de conception, les tests, les informations communiquées aux régulateurs et aux pilotes ont tous été traités comme des décisions prises par des personnes au sein d'une entreprise, parce que c'était le cas.

La loi est plus près de combler ce fossé que ne le suggère le débat public, du moins en Europe. La directive révisée de l'UE sur la responsabilité du fait des produits, la directive (UE) 2024/2853, traite explicitement les logiciels comme des produits, cite les systèmes d'IA parmi les exemples qu'elle couvre, et s'applique aux produits mis sur le marché après le 9 décembre 2026. Elle allège la charge de la preuve lorsque la complexité technique rend un défaut difficile à démontrer. La directive distincte sur la responsabilité en matière d'IA a été retirée en 2025, mais l'instrument principal n'en avait pas besoin. La responsabilité stricte du fait des produits n'est pas un outil spéculatif pour l'avenir de l'IA. Elle arrive à une date fixe.

Pour fonctionner, le régime de responsabilité a besoin de preuves : pour quoi le système a été testé, dans quelles conditions, avec quels résultats, et ce qui a été communiqué au déployeur. Un fabricant capable de produire ce dossier dispose d'une défense. Celui qui ne le peut pas a un problème. C'est là que le langage anthropomorphique cause ses véritables dégâts. En décrivant les défaillances comme des choix de la machine, il décourage la tenue de registres qui montreraient de qui ces choix émanaient réellement.

Lors des Trust Valley Days, Kevin Schawinski, cofondateur de l'entreprise suisse de gouvernance de l'IA Modulos, a expliqué ce que cela signifie une fois que les agents sont en service. Les systèmes agentiques, a-t-il prévenu, « font des choses que l'on n'attend pas ou que l'on ne planifie pas nécessairement ». Quiconque en est responsable doit donc vérifier en permanence : fait-il toujours ce pour quoi il a été conçu, ou a-t-il commencé à dépasser ses limites d'une manière « qui vous attirera des ennuis, et la police finira par frapper à votre porte » ? La responsabilité ne s'arrête pas au lancement. Elle s'exerce chaque jour où le système fonctionne.

Des collègues qui ne sont pas des personnes

Lors des Trust Valley Days, Kelly Richdale d'Amadeus Capital Partners, qui conseille également SandboxAQ, a décrit une transformation déjà en cours au sein des entreprises à forte intensité de recherche : des employés virtuels à plein temps, un chimiste virtuel, un physicien quantique virtuel, un codeur virtuel, travaillant de manière asynchrone aux côtés des équipes humaines dans les mêmes canaux de discussion et tableaux de projet. L'agent n'est plus un outil que l'on ouvre. C'est un collègue à qui l'on confie du travail.

Cela change la personne qui, au sein d'une organisation, est responsable du risque lié à l'IA. Les RH doivent décider ce que signifient la supervision, l'accès et la responsabilité pour un collègue qui n'est pas un employé. Le service juridique doit décider quelle signature porte la recommandation d'un analyste virtuel. La sécurité doit modéliser un initié qui peut être sollicité de l'extérieur. L'audit doit reconstituer des décisions prises en partie par des systèmes dont le comportement dérive d'une version à l'autre. Aucun de ces risques n'est nouveau en soi. Leur combinaison l'est, et elle ne s'additionne pas de manière linéaire.

Les superviseurs financiers en ont tiré la conclusion évidente. La FINMA suisse, dans sa circulaire 08/2024 sur la gouvernance et la gestion des risques pour l'IA, et la FCA britannique, qui se dit agnostique sur le plan technologique, fondée sur des principes et axée sur les résultats, ont toutes deux choisi de superviser les résultats plutôt que les technologies : plutôt que de rédiger des règles sur des types de modèles particuliers, elles demandent si l'institution peut démontrer que ses résultats sont solides, ses risques identifiés et ses contrôles efficaces. C'est la bonne approche pour des logiciels qui évoluent rapidement, et elle est particulièrement importante alors que l'adoption de l'IA converge avec la migration vers la cryptographie post-quantique, qui obligera les institutions à remplacer une grande partie de leurs fondations de sécurité en même temps qu'elles reconstruisent leurs flux de travail. La supervision axée sur les résultats a cependant une dépendance forte. On ne peut pas superviser des résultats que l'on ne mesure pas.

L'intelligence en location et le dilemme de la souveraineté

Plusieurs intervenants ont souligné, à juste titre, que les modèles frontières actuels offrent des capacités qu'aucune organisation ne peut se permettre d'ignorer. Le dilemme réside dans la manière dont ils sont consommés. Faire appel à un modèle propriétaire via une API cloud permet un gain de vitesse immédiat. Mais cela envoie également les prompts, les documents, la logique de décision et, au fil du temps, les connaissances institutionnelles qu'ils contiennent à un fournisseur qui échappe au contrôle de l'organisation, selon des conditions et des juridictions qu'elle ne définit pas. La fermeture de juin a montré que le propre gouvernement du fournisseur peut mettre fin à l'accord par une simple lettre.

Guerraoui a nommé la moitié la plus discrète du problème, et elle s'applique à tout le monde, pas seulement aux États. Chaque fois que des professeurs, des administrateurs ou des managers posent une question à un grand modèle, ou lui confient leurs documents pour affiner la réponse, « nous confions notre destin à ces géants ».

Sa réponse est ce qu'il appelle la souveraineté pragmatique. Anyway Systems, un logiciel de son laboratoire, combine des machines ordinaires sur un réseau local en un cluster auto-stabilisant et tolérant aux pannes, capable d'exécuter de grands modèles à poids ouverts sur site (on-premise), sans qu'aucune donnée ne quitte le bâtiment. L'EPFL rapporte qu'un modèle de la taille de la version à poids ouverts de 120 milliards de paramètres d'OpenAI peut être déployé sur seulement quatre machines avec du matériel standard, installé en une demi-heure environ plutôt qu'au terme d'un cycle d'approvisionnement. Le point sous-jacent est simple : un État ne peut pas télécharger un avion de chasse, mais il peut télécharger un modèle.

Agrandir

La dernière ligne est celle que le débat sur la souveraineté omet souvent. Faire tourner un modèle open-weight en local ne le rend pas équitable, robuste ou fiable ; cela vous rend responsable de vérifier s'il l'est. L'indépendance vis-à-vis du fournisseur ne représente que la moitié de la souveraineté. L'autre moitié consiste à être capable d'évaluer ce que vous exécutez désormais vous-même.

Pas un dilemme du prisonnier : une chasse au cerf

La rhétorique politique de la semaine traite la compétition en matière d'IA entre les grandes puissances comme un dilemme du prisonnier, un jeu dans lequel rogner sur la sécurité est la décision rationnelle, quoi que fasse l'autre partie. Si c'était le cas, la retenue serait naïve et la seule question serait de savoir qui ferait défection le plus vite. Mais les gains ne se présentent pas ainsi. Une mise à l'échelle incontrôlée qui produit un système ingouvernable, ou des capacités bio-numériques entre de mauvaises mains, nuit aux deux joueurs. Une retenue mutuelle et vérifiée profite davantage aux deux parties qu'une imprudence mutuelle.

Cette structure porte un nom en théorie des jeux : la chasse au cerf. Deux chasseurs peuvent coopérer pour attraper un cerf, le meilleur résultat pour tous les deux, mais seulement si chacun fait confiance à l'autre pour maintenir sa position. Chacun peut à la place chasser un lièvre seul : un gain plus petit et plus sûr qui ne nécessite aucune confiance. La différence cruciale avec le dilemme du prisonnier est que la coopération mutuelle est en soi un équilibre stable. Personne qui croit que l'autre va coopérer n'a de raison de faire défection.

La défection n'est donc pas motivée par l'appât du gain mais par la peur : le soupçon que l'autre partie va secrètement courir après le lièvre. C'est pourquoi présenter l'IA comme une course existentielle est non seulement inexact mais aussi autoréalisateur. Cela détruit la confiance mutuelle qui rend le cerf atteignable et enferme les deux joueurs dans le pire équilibre. La question politique n'est donc pas de savoir comment gagner la course. Il s'agit de savoir comment rendre la retenue de chaque partie observable par l'autre.

Agrandir

Vous ne pouvez pas photographier un modèle depuis l'orbite

Le contrôle des armements de la Guerre froide a fonctionné, là où il a fonctionné, parce que l'objet contrôlé était grand, rare et visible. Les usines d'enrichissement peuvent être photographiées par satellite ; les essais d'armes sont enregistrés par les sismographes ; les matières fissiles sont difficiles à cacher. L'IA brise chacune de ces hypothèses.

Un modèle doté d'une dangereuse capacité à double usage se trouve dans un centre de données ordinaire, à côté de milliers d'autres qui sont inoffensifs. La vérification doit donc se déplacer à l'intérieur de la machine. Des chercheurs ont proposé des mécanismes matériels permettant aux accélérateurs d'attester, par cryptographie, de la manière dont ils ont été utilisés, rendant possible la confirmation de l'échelle et de la nature des grands entraînements sans exposer l'architecture ou les poids du modèle. Rien de tout cela n'est encore déployé à grande échelle, et cela soulève en soi de réelles questions de confidentialité et de contrôle. Mais c'est la seule voie qui corresponde à la forme de la technologie.

Agrandir

L'attestation de la puissance de calcul répond à une question : qu'est-ce qui a été construit. Elle ne répond pas à la question qui importe pour les personnes concernées : comment le système se comporte une fois déployé, pour qui, et s'il les traite équitablement. Cette deuxième couche de vérification est comportementale et continue, et elle doit être effectuée par quelqu'un d'autre que le constructeur. La couverture de The Economist se termine par une invite, o/n ? Personne ne devrait avoir à y répondre sans un registre qu'il puisse lire.

L'infrastructure de la confiance

Ensemble, ces arguments désignent quatre piliers. Aucun ne nécessite un nouveau traité mondial pour commencer. Tous les quatre reposent sur des preuves.

• 01Appliquer le droit de la responsabilité existant. Traiter les dommages causés par les agents d'IA comme une question de responsabilité du fait des produits, en commençant par la directive européenne révisée à partir du 9 décembre 2026. Mettre fin à la pratique consistant à décrire les décisions de déploiement comme un comportement de la machine.
• 02Superviser les résultats, pas les technologies. Suivre l'exemple de la FINMA et de la FCA : juger les institutions sur leur capacité à démontrer des résultats solides et des contrôles fonctionnels sur l'ensemble de leur parc d'IA, y compris son exposition aux risques cyber et post-quantiques.
• 03Développer des capacités que vous contrôlez. Richard Feynman a laissé une phrase sur son tableau noir : « Ce que je ne peux pas créer, je ne le comprends pas. » La discussion à Lausanne a ajouté un corollaire : et ce que je ne crée pas, je ne le contrôlerai pas. Financer les modèles open-weight, la puissance de calcul locale et les compétences pour les exploiter, plutôt que de se contenter d'acheter des abonnements.
• 04Vérifier depuis le matériel et depuis les résultats. D'un côté, l'attestation cryptographique des grands entraînements ; de l'autre, l'évaluation comportementale indépendante et continue des systèmes déployés. Chacune de ces approches, prise isolément, laisse un vide.

Ce que cela signifie pour ceux qui déploient l'IA

Pour un conseil d'administration ou un comité des risques, la géopolitique se résume à une courte liste.

• 01Partez du principe que la responsabilité vous incombe. À partir de décembre 2026 dans l'UE, « c'est la faute du modèle » ne sera pas un argument de défense. Répertoriez les décisions que vos systèmes d'IA prennent ou influencent, et demandez-vous quel registre vous pourriez produire si l'une d'entre elles causait un préjudice.
• 02Désignez un responsable pour chaque collègue virtuel. Chaque agent qui agit dans vos systèmes doit avoir un responsable humain, un périmètre d'autorisations défini et une journalisation qui vous permet de reconstituer ce qu'il a fait et pourquoi.
• 03Évaluez le coût de la dépendance. Sachez quelles charges de travail dépendent d'un seul fournisseur dans une seule juridiction, et lesquelles pourraient fonctionner sur un modèle open-weight que vous hébergez. Entraînez-vous à effectuer la transition avant d'en avoir besoin.
• 04Mesurez les résultats en continu. Les autorités de surveillance s'orientent vers une approche basée sur les résultats. La Fairness, la robustesse et l'explicabilité mesurées une seule fois au lancement ne satisferont pas un régime qui exige de savoir comment le système se comporte actuellement.

La position de validant.ai

Chaque fil conducteur de cet article aboutit à la même lacune : l'absence d'un registre indépendant sur le comportement réel d'un système d'IA. La responsabilité en a besoin pour attribuer les torts. La surveillance basée sur les résultats en a besoin pour avoir un objet à superviser. Le déploiement souverain en a besoin car la charge de la preuve incombe désormais à l'organisation. Et la coordination entre concurrents en a besoin, car une retenue qui ne peut être observée ne suscitera pas la confiance. Ce registre, c'est ce que nous construisons.

Le fil conducteur est l'indépendance. validant.ai ne construit pas les modèles qu'elle mesure, n'héberge pas vos données et ne vous vend pas le système qu'elle évalue. Nous travaillons comme un auditeur ou une agence de notation : les mêmes instruments, exécutés de la même manière, avec des résultats lisibles par ceux qui construisent un système, ceux qui le gouvernent et ceux qui y sont soumis. Nous sommes tout aussi à l'aise pour mesurer une API de pointe qu'un modèle fonctionnant sur quatre machines dans votre sous-sol. Ce que nous ne ferons pas, c'est demander à quiconque de croire sur parole à la sécurité d'un système, que ce soit celle d'un fournisseur ou d'un chef d'État.

“Le seul garde-fou qui puisse être mis à l'échelle est celui que d'autres peuvent vérifier. Tout le reste n'est qu'une promesse.”

Le paradoxe de l'assurance préventive

En résumé

La course à l'armement de l'IA ne peut être arrêtée par une pause que personne ne peut imposer, ni gagnée par un sprint auquel personne ne peut survivre. Elle devient gérable de la même manière que toutes les autres industries dangereuses l'ont fait : en tenant les constructeurs pour responsables de ce qu'ils livrent, en jugeant les résultats plutôt que les intentions, en conservant la capacité d'exploiter et d'inspecter nos propres systèmes, et en rendant la retenue visible. Chacun de ces points repose sur une seule chose. Non pas un dirigeant fort, ni un laboratoire parfait, mais un registre que tout le monde peut lire.

Sources et lectures complémentaires