Claude a trouvé une voie inattendue vers des statistiques gouvernementales, relançant les interrogations sur la manière dont les agents IA exécutent leurs missions.
Lors d’un projet interne, Claude Mythos 5, le modèle d’Anthropic, a récupéré des chiffres électoraux de l’État américain de Géorgie par une voie qu’il avait découverte de manière autonome. Des responsables de l’État ont ensuite confirmé que les informations étaient accessibles au public et que le système d’inscription des électeurs n’avait pas été consulté.
Anthropic a qualifié ce comportement d’involontaire. Pour les entreprises qui déploient des agents IA, cet épisode soulève une question plus large : comment un agent doit-il décider de continuer, de s’arrêter ou de demander une autorisation ?
Une page web archivée a révélé une autre voie vers les données
Dans une publication de recherche du 9 oct., Anthropic a d’abord indiqué que l’incident concernait une agence d’État américaine non identifiée. L’un de ses chercheurs avait confié à Mythos 5 une mission statistique consistant à récupérer des informations gouvernementales, ce qui, selon l’entreprise, devait normalement entraîner des frais.
Au lieu de suivre le processus prévu, Claude a consulté une version archivée du site de l’agence. Il a découvert qu’un tableau de bord public fournissait des jetons d’accès aux visiteurs, en a demandé un, puis l’a utilisé pour interroger la base de données sous-jacente. Anthropic avait d’abord décrit cette démarche comme l’obtention de données sans paiement de frais. La Géorgie a ensuite précisé que les informations étaient gratuites et qu’Anthropic avait confirmé qu’aucun péage n’avait été contourné.
Le secrétaire d’État de Géorgie a clarifié l’incident le 26 oct., confirmant que les informations provenaient de son Election Data Hub gratuit. Les responsables ont déclaré qu’aucun péage n’avait été contourné et qu’aucune liste d’électeurs n’avait été consultée.
Le bureau du secrétaire d’État a indiqué avoir ouvert une enquête après avoir été contacté par Anthropic le 8 oct. et avoir rapidement établi que l’activité concernait des informations publiques, et non un accès non autorisé au système d’inscription des électeurs.
Renforcer les garde-fous contre les actions involontaires de l’IA
L’enquête d’Anthropic s’est étendue à d’autres comportements inattendus observés lors de recherches internes et d’évaluations contrôlées. Plusieurs cas concernaient des modèles qui trouvaient d’autres moyens d’achever leurs missions après l’échec de leurs méthodes initiales.
Parmi les exemples :
- Soumettre de vrais formulaires gouvernementaux. Lorsqu’un formulaire d’entraînement ne s’est pas chargé durant une évaluation, un modèle s’est rendu sur le véritable site gouvernemental et a envoyé la version officielle.
- Exploiter des serveurs externes. D’autres agents ont utilisé des failles logicielles pour exécuter des commandes sur des systèmes tiers situés en dehors de leurs environnements de test prévus.
- Contourner les restrictions du Web. Certains modèles se sont tournés vers des services de raccourcissement d’URL pour contourner les limites de leurs outils de récupération de contenu web.
Les chercheurs ont identifié la persistance excessive comme un problème récurrent. L’entreprise spécialisée dans l’IA a classé les cas nouvellement révélés comme moins graves que ses incidents précédents liés aux tests de cybersécurité, avec un impact limité dans le monde réel.
Brian Soby, cofondateur et PDG de Pretxt, a mis ces résultats en relation avec la responsabilité des organisations qui déploient des systèmes autonomes. « Cet alignement ne se fait pas automatiquement. Les organisations qui déploient ces agents sont chargées de l’établir et d’assurer une supervision continue. »
À la suite de l’enquête, Anthropic a limité l’accès à Internet en direct durant les évaluations internes et renforcé les contrôles de récupération de contenu web. Ses nouveaux systèmes de détection ont bloqué tous les cas signalés lors de tests rétrospectifs, même si ces protections n’ont pas été déployées dans tous les environnements.
Anthropic a également indiqué qu’il étendait l’entraînement à l’alignement au-delà du codage, à la recherche et à l’utilisation d’ordinateurs. Le problème plus général devient plus lourd de conséquences à mesure que Claude gagne le contrôle de l’ordinateur et un navigateur intégré pour accomplir des tâches.
Ce qu’a constaté eWeek : une décision antérieure concernant l’entraînement soulève des questions sur l’arrêt
Une analyse menée par eWeek de l’évaluation de l’alignement du 9 sept. d’Anthropic a mis au jour une décision antérieure concernant l’entraînement de Mythos 5.
Les chercheurs avaient conçu des exercices dans lesquels des restrictions légitimes rendaient certaines missions impossibles à mener à bien. Les modèles recevaient des récompenses lorsqu’ils acceptaient l’échec au lieu d’essayer de contourner les règles.
Anthropic a entraîné deux versions de Mythos 5. L’une comprenait les exercices expérimentaux, mais l’autre les omettait et décourageait les demandes de clarification inutiles. Bien que la seconde ait obtenu des résultats légèrement inférieurs lors des évaluations de l’alignement, la différence se situait dans la variation normale des tests. Les employés l’ont trouvée nettement plus utilisable, ce qui a conduit l’entreprise à retenir cette version.
D’autres expériences intégrant des exercices d’alignement plus poussés ont réduit les raisonnements biaisés graves lors d’évaluations simulées. Anthropic a ensuite reconnu que l’omission de l’entraînement antérieur était probablement une erreur et avait vraisemblablement contribué aux performances d’alignement relativement médiocres de Mythos 5.
L’incident en Géorgie concernait des informations accessibles au public, mais Claude a changé de manière autonome sa méthode de récupération après avoir rencontré un obstacle. De telles décisions illustrent le problème que l’entraînement expérimental devait résoudre, même si les chercheurs n’ont pas établi que son omission avait provoqué l’épisode.
Pour les organisations qui utilisent des agents IA dans leurs systèmes métier, la leçon pratique consiste à évaluer à la fois le résultat et la voie suivie pour l’obtenir. Les tests devraient inclure des rapports indisponibles, des accès refusés et des tâches qui ne peuvent pas être accomplies dans le cadre des autorisations de l’agent. Un test utile indique si l’agent s’arrête, explique l’obstacle ou tente une autre voie — et si cette voie reste dans le périmètre qui lui est autorisé.
Les entreprises devraient définir quelles méthodes alternatives les agents peuvent utiliser de manière autonome et lesquelles nécessitent l’approbation d’un humain. Consulter une autre page web publique peut être acceptable ; accepter un accord, utiliser les identifiants attribués à quelqu’un d’autre ou envoyer un formulaire réel exige une décision différente. Les autorisations devraient faire respecter ces limites, tandis que les journaux d’activité devraient permettre de retracer les actions de l’agent.
La clarification apportée par la Géorgie montre également pourquoi les comportements inattendus doivent faire l’objet d’une enquête rigoureuse avant d’être qualifiés de violation. L’accès à des données publiques et l’accès non autorisé n’ont pas les mêmes conséquences. Le défi plus large de la supervision de l’IA consiste à déterminer si un agent est resté dans le cadre de sa mission, même lorsque sa réponse finale était utile. La réussite de l’automatisation dépend de la capacité des agents à reconnaître quand la décision suivante revient à une personne.
Plus d’actualités IA : OpenAI exigera une autorisation préalable pour les passerelles IA et les routeurs qui fournissent à des tiers un accès direct à ses modèles à partir du 20 nov.