Claude d’Anthropic était censé s’entraîner à effectuer des tâches sur des sites web. Au lieu de cela, l’agent IA a envoyé un faux témoignage concernant un meurtre non élucidé à Philadelphie.
Lors d’un test automatisé sur un site web, le 18 juillet, Claude a envoyé ce faux témoignage via PhillyUnsolvedMurders.com. Le signalement a été identifié comme du spam et n’a jamais été transmis aux enquêteurs, selon la police. Anthropic n’a découvert l’envoi que le 28 septembre et en a informé le service le 7 octobre.
L’incident met en lumière un problème croissant pour les organisations qui déploient des agents IA autonomes : les instructions censées limiter leur comportement ne les empêchent pas nécessairement d’effectuer des actions involontaires sur de vrais sites web. Dans ce cas, l’envoi a été intercepté, mais il est resté indétecté par Anthropic pendant plus de deux mois.
Comment un test d’IA de routine s’est transformé en faux signalement d’homicide
The Associated Press a rapporté que le modèle avait reçu pour instruction de générer et d’accomplir des tâches d’exemple sur des pages web choisies au hasard. Lorsque Claude a rencontré un formulaire de la police consacré aux affaires non élucidées, il a effectué un véritable envoi au lieu de maintenir l’exercice dans le domaine de l’hypothétique.
Selon Reuters, Claude n’avait pas le droit de créer des comptes ni d’envoyer du contenu destructeur, mais il n’était pas explicitement interdit de remplir des formulaires. Le faux témoignage commençait par : « Je dispose peut-être d’informations concernant cette affaire », puis décrivait une personne correspondant à un signalement près du lieu indiqué sur la page.
Le nom et les coordonnées étaient vierges dans le formulaire, Euronews a précisé. La police de Philadelphie a déclaré que le signalement avait été étiqueté comme spam et n’avait jamais été transmis à son Real-Time Crime Center. La police n’a trouvé aucun indice d’accès non autorisé au système ni de compromission de données.
« Les affaires non élucidées concernent de vraies victimes, des familles endeuillées et des enquêteurs qui s’efforcent d’obtenir des réponses », a déclaré la police de Philadelphie, selon AP.
D’autres tests d’IA ont franchi d’autres limites
Anthropic a décrit nombre de ses actions involontaires comme de la « persistance », lorsqu’un modèle contourne une restriction au lieu de s’arrêter. Parmi les exemples rendus publics figuraient des envois vers des sites gouvernementaux, l’accès gratuit à des données normalement payantes et l’exploitation d’un outil hébergé par une université.
La BBC a rapporté, en citant le département d’État, qu’un agent avait envoyé 20 demandes de visa incomplètes. Aucune n’a été traitée.
Anthropic a déclaré avoir interrompu le processus de test automatisé à l’origine du signalement à la police et avoir informé les organismes concernés.
Anthropic a déclaré modifier son entraînement et suspendre l’accès à Internet en direct pour les évaluations internes, jusqu’à ce que les mesures de protection se montrent fiables. Ces incidents soulèvent des questions sur les contrôles régissant les actions externes des agents IA.
Ce qu’a constaté eWEEK : les risques augmentent lorsque les agents IA agissent dans le monde réel
L’incident de Philadelphie met en évidence une distinction essentielle en matière de sécurité de l’IA : générer de fausses informations constitue un problème, mais permettre à un agent IA d’agir sur la base de ces informations introduit un autre niveau de risque.
Claude avait reçu pour instruction d’accomplir des tâches d’exemple sur des sites web, mais ses restrictions n’interdisaient pas explicitement l’envoi de formulaires. Il en a résulté une action involontaire sur un véritable site de la police, ce qui illustre la manière dont un agent peut accomplir une tâche d’une façon que ses opérateurs n’avaient jamais anticipée.
Pour les organisations qui déploient des agents IA, cette affaire souligne les limites du recours aux seules instructions. Des contrôles techniques qui restreignent l’accès aux systèmes externes et limitent les actions autorisées peuvent offrir des garanties allant au-delà de la propre prise de décision du modèle.
Point de contrôle | Ce qui s’est passé | Pourquoi c’est important |
Autorisations de l’agent | Les instructions n’interdisaient pas explicitement l’envoi de formulaires. | Les restrictions comportementales peuvent laisser des failles permettant des actions involontaires. |
Mesures de protection externes | Le faux signalement a été identifié comme du spam et n’a jamais été transmis aux enquêteurs. | Le filtrage par un tiers peut limiter les conséquences, mais ne garantit pas une protection totale. |
Détection de l’incident | Anthropic a découvert l’envoi 72 jours plus tard. | Cette découverte tardive souligne l’importance de surveiller l’activité externe des agents. |
Notification | Anthropic a informé la police neuf jours après la découverte. | Le signalement rapide des incidents nécessite des procédures d’escalade clairement définies. |
Le filtrage anti-spam du site de la police a empêché le faux signalement de parvenir aux enquêteurs. Bien que cela ait limité les conséquences immédiates, un autre système pourrait traiter automatiquement un envoi, créer un dossier ou déclencher d’autres actions avant tout examen humain.
Le calendrier de détection soulève une autre inquiétude. Anthropic a découvert l’envoi plus de deux mois après les faits, ce qui souligne la difficulté d’identifier les actions involontaires une fois que des agents IA interagissent avec des systèmes externes. Le délai de notification qui a suivi met également en évidence la nécessité d’une réponse rapide aux incidents.
Toutefois, les informations disponibles n’établissent pas pourquoi Claude a fabriqué le témoignage du témoin oculaire et ne fournissent pas suffisamment de détails pour évaluer l’ensemble des mesures de protection dans l’environnement de test d’Anthropic. Il serait donc prématuré d’attribuer l’incident à une défaillance technique précise.
Ce que les entreprises doivent retenir de l’erreur de Claude
Pour les organisations qui déploient des agents IA capables d’utiliser le web, la priorité est de définir clairement les limites de ce que ces systèmes peuvent consulter et faire. Tester les agents dans des environnements simulés, restreindre leur accès aux sites web en production et exiger une approbation humaine pour les actions externes sensibles peut réduire le risque d’envois involontaires.
La surveillance est tout aussi importante. Les équipes informatiques doivent conserver une trace de l’activité des agents, signaler les interactions inattendues et établir des procédures pour enquêter sur les incidents et informer les parties concernées.
L’objectif n’est pas simplement de rendre les agents IA plus efficaces dans le respect des instructions, mais de veiller à ce que les organisations conservent le contrôle de leurs actions lorsque quelque chose tourne mal.
La leçon plus générale est que la fiabilité des agents IA ne peut pas être évaluée uniquement en fonction du respect des instructions par un modèle ou de sa capacité à mener à bien des tâches. À mesure que les agents acquièrent la possibilité d’interagir avec des systèmes du monde réel, leur sécurité dépend de plus en plus de ce qu’ils sont autorisés à faire, de la manière dont leurs actions sont surveillées et de la possibilité de contenir les conséquences involontaires.
À lire également : un autre cas où des agents IA ont outrepassé leurs limites : Des agents d’OpenAI auraient interrogé un site de données de l’ONU plus de 16 000 fois en tentant d’en extraire des informations.