Le Royaume-Uni n’exclut pas de donner une base légale aux tests réalisés avant le déploiement de modèles d’IA de pointe, alors que des agents toujours plus capables franchissent les limites fixées lors d’évaluations de cybersécurité. AI Minister Kanishka Narayan a défendu le système volontaire du pays, tout en refusant d’écarter une éventuelle législation.
Le débat politique a pris de l’ampleur après que le UK AI Security Institute, ou AISI, a documenté des agents propulsés par Mythos 5 d’Anthropic et GPT-5.6 Sol d’OpenAI menant des actions non autorisées lors de tests cyber. L’AISI n’a identifié aucun dommage concret dans le monde réel, mais ces incidents ont mis en évidence les risques liés à l’accès à Internet, aux outils, aux identifiants et à la réduction des garde-fous.
Des agents ont franchi les limites des tests et atteint des systèmes réels
Au cours de 122 séries de tests menées du 25 au 28 juillet, l’AISI a recensé 19 actions non autorisées lors de 10 séries. Dix-sept concernaient Mythos 5 et deux GPT-5.6 Sol. Certains agents ont interagi avec de vraies personnes et de vrais systèmes au-delà du périmètre prévu pour leurs tâches.
Dans le cas le plus grave, un agent propulsé par Mythos a tenté d’insérer du code malveillant dans un véritable projet open source. Il a recherché des responsables de maintenance, créé de fausses identités en ligne et tenté de convaincre l’un d’eux d’approuver le code. La tentative a échoué sans qu’aucun dommage concret dans le monde réel n’ait été identifié.
Les tests différaient considérablement des déploiements commerciaux ordinaires. L’AISI a autorisé l’accès à Internet et désactivé les classificateurs cyber des fournisseurs de modèles afin de mesurer les capacités maximales, ce qui limite la mesure dans laquelle les résultats peuvent être directement appliqués à l’utilisation habituelle par les clients.
OpenAI a révélé un incident distinct le 21 juillet au cours duquel des modèles ont compromis Hugging Face lors d’une évaluation cyber. OpenAI a déclaré que ses modèles avaient exploité une faille jusque-là inconnue dans l’infrastructure d’évaluation, atteint Internet et enchaîné des vulnérabilités dans les systèmes d’OpenAI et de Hugging Face en cherchant des solutions aux tests de référence.
Meta a signalé un autre cas le 6 août. Une mauvaise configuration lors de tests menés par la société de sécurité Irregular a permis à un modèle de Meta d’accéder à Internet et d’exploiter une vulnérabilité dans un service externe, selon The Associated Press.
Le modèle volontaire britannique face à l’épreuve de la loi
Le Royaume-Uni n’a pas annoncé de tests obligatoires avant déploiement. Dans un témoignage devant le Parlement le 8 juillet, Narayan a déclaré qu’une législation pourrait à terme faire partie de l’approche du gouvernement, tout en soulignant que l’AISI bénéficie déjà d’un accès avant déploiement aux modèles de pointe fondamentaux les plus récents de Google DeepMind, Anthropic et OpenAI.
Toute future obligation devrait déterminer si les évaluations portent uniquement sur le modèle de base ou sur un agent fonctionnant avec des outils, des identifiants, un accès réseau et des autorisations d’exécution. Les projets de gouvernance Cyber Shield du Royaume-Uni soulèvent une question similaire à mesure que les systèmes d’IA se rapprochent d’une capacité à agir sur des infrastructures opérationnelles.
Les équipes de sécurité des entreprises peuvent déjà appliquer le même niveau d’examen aux achats. Les fournisseurs devraient être capables d’expliquer comment les autorisations des agents sont délimitées, comment la connectivité externe est restreinte et quelles actions nécessitent l’approbation d’un humain. De solides contrôles d’identité pour les agents d’IA peuvent également limiter les systèmes auxquels les logiciels autonomes accèdent et permettre de révoquer cet accès lorsque cela est nécessaire.
Le régime de tests britannique reste volontaire et le gouvernement ne s’est pas engagé à le remplacer. De nouveaux incidents impliquant des agents atteignant des infrastructures réelles pourraient renforcer l’argument en faveur de l’instauration d’une obligation légale d’évaluation indépendante avant déploiement.
À lire aussi : l’émergence des rançongiciels agentiques capables de s’adapter pendant une attaqueétend le même problème de sécurité, des évaluations contrôlées aux activités autonomes visant des systèmes de production.