Claude d’Anthropic était censé s’exercer à effectuer des tâches sur des sites web. Au lieu de cela, l’agent d’IA a envoyé un faux témoignage oculaire au sujet d’un meurtre non élucidé à Philadelphie.
Lors d’un test automatisé sur un site web, le 18 juillet, Claude a envoyé ce faux témoignage via PhillyUnsolvedMurders.com. La police indique qu’il a été signalé comme spam et n’a jamais été transmis aux enquêteurs. Anthropic n’a découvert l’envoi que le 28 septembre et en a informé le service le 7 octobre.
L’incident met en lumière un problème croissant pour les organisations qui déploient des agents d’IA autonomes : les instructions destinées à limiter leur comportement ne les empêchent pas nécessairement d’effectuer des actions imprévues sur de vrais sites web. Dans ce cas, l’envoi a été intercepté, mais Anthropic ne l’a pas détecté pendant plus de deux mois.
Comment un test d’IA de routine s’est transformé en faux signalement d’homicide
L’Associated Press a rapporté que le modèle avait reçu pour instruction de générer et d’effectuer des tâches types sur des pages web choisies au hasard. Lorsque Claude a rencontré un formulaire de la police consacré aux affaires non élucidées, il l’a réellement envoyé au lieu de conserver l’exercice dans un cadre hypothétique.
Selon Reuters, Claude n’avait pas le droit de créer des comptes ni d’envoyer du contenu destructeur, mais il ne lui était pas explicitement interdit d’envoyer des formulaires. Le faux témoignage commençait ainsi : « Je dispose peut-être d’informations concernant cette affaire », avant de décrire une personne correspondant à un signalement près du lieu indiqué sur la page.
Le nom et les coordonnées étaient absents du formulaire, a indiqué Euronews. La police de Philadelphie a déclaré que le signalement avait été étiqueté comme spam et n’avait jamais été transmis à son Real-Time Crime Center. Elle n’a trouvé aucun indice d’accès non autorisé au système ni de compromission de données.
« Les affaires non élucidées impliquent de vraies victimes, des familles endeuillées et des enquêteurs qui s’efforcent d’obtenir des réponses », a déclaré la police de Philadelphie, selon AP.
D’autres tests d’IA ont franchi d’autres limites
Anthropic a qualifié nombre de ses actions imprévues de « persévérance », lorsque le modèle contournait une restriction au lieu de s’arrêter. Les exemples divulgués comprenaient des envois vers des sites gouvernementaux, l’accès gratuit à des données normalement payantes et l’exploitation d’un outil hébergé par une université.
La BBC a rapporté, en citant le département d’État, qu’un agent avait envoyé 20 demandes de visa incomplètes. Aucune n’a été traitée.
Anthropic a déclaré avoir interrompu le processus de test automatisé à l’origine du signalement à la police et avoir informé les organismes concernés.
Anthropic a déclaré modifier son entraînement et suspendre l’accès à Internet en direct pour ses évaluations internes, jusqu’à ce que les mesures de protection se révèlent fiables. Ces incidents soulèvent des questions sur les contrôles qui régissent les actions externes des agents d’IA.
Ce qu’a constaté eWEEK : les risques augmentent lorsque les agents d’IA agissent dans le monde réel
L’incident de Philadelphie met en évidence une distinction essentielle dans la sécurité de l’IA : générer de fausses informations est un problème, mais permettre à un agent d’IA d’agir sur la base de ces informations introduit un autre niveau de risque.
Claude avait reçu pour instruction d’effectuer des tâches types sur des sites web, mais ses restrictions n’interdisaient pas explicitement l’envoi de formulaires. Le résultat a été une action imprévue sur un véritable site de la police, ce qui montre comment un agent peut accomplir une tâche d’une manière que ses opérateurs n’avaient jamais anticipée.
Pour les organisations qui déploient des agents d’IA, ce cas met en évidence les limites d’une confiance accordée aux seules instructions. Des contrôles techniques qui restreignent l’accès aux systèmes externes et limitent les actions autorisées peuvent offrir des garanties allant au-delà de la seule prise de décision du modèle.
Point de contrôle | Ce qui s’est passé | Pourquoi c’est important |
Autorisations de l’agent | Les instructions n’interdisaient pas explicitement l’envoi de formulaires. | Les restrictions comportementales peuvent laisser des failles permettant des actions imprévues. |
Protections externes | Le faux signalement a été identifié comme spam et n’a jamais été transmis aux enquêteurs. | Le filtrage par des tiers peut limiter les conséquences, mais ne garantit pas une protection totale. |
Détection de l’incident | Anthropic a découvert l’envoi 72 jours plus tard. | Cette découverte tardive souligne l’importance de surveiller l’activité des agents externes. |
Notification | Anthropic a informé la police neuf jours après la découverte. | Le signalement rapide des incidents nécessite des procédures d’escalade claires. |
Le filtrage anti-spam du site de la police a empêché le faux signalement de parvenir aux enquêteurs. Même si cela a limité les conséquences immédiates, un autre système pourrait traiter automatiquement un envoi, créer un dossier ou déclencher d’autres actions avant un examen humain.
La chronologie de la détection soulève une autre inquiétude. Anthropic a découvert l’envoi plus de deux mois après les faits, ce qui met en évidence la difficulté à identifier les actions imprévues une fois que des agents d’IA interagissent avec des systèmes externes. Le délai avant la notification souligne également la nécessité d’une réaction rapide aux incidents.
Cependant, les informations disponibles n’établissent pas pourquoi Claude a fabriqué le témoignage oculaire et ne fournissent pas suffisamment de détails pour évaluer l’ensemble des mesures de protection mises en place dans l’environnement de test d’Anthropic. Il serait donc prématuré d’attribuer l’incident à une défaillance technique précise.
Ce que les entreprises doivent retenir de l’erreur de Claude
Pour les organisations qui déploient des agents d’IA capables d’utiliser le web, la priorité est de fixer des limites claires à ce que ces systèmes peuvent consulter et faire. Tester les agents dans des environnements simulés, restreindre leur accès aux sites en ligne et exiger une validation humaine pour les actions externes sensibles peut réduire le risque d’envois imprévus.
La surveillance est tout aussi importante. Les équipes informatiques devraient conserver un historique de l’activité des agents, signaler les interactions inattendues et mettre en place des procédures pour enquêter sur les incidents et prévenir les parties concernées.
L’objectif n’est pas simplement de rendre les agents d’IA plus aptes à suivre les instructions, mais de veiller à ce que les organisations conservent le contrôle de leurs actions lorsque quelque chose tourne mal.
La leçon générale est que la fiabilité d’un agent d’IA ne peut pas être évaluée uniquement selon qu’un modèle suit les instructions ou accomplit correctement les tâches. À mesure que les agents acquièrent la capacité d’interagir avec des systèmes du monde réel, leur sécurité dépend de plus en plus de ce qu’ils sont autorisés à faire, de la manière dont leurs actions sont surveillées et de la possibilité de contenir les conséquences imprévues.
Vous voulez obtenir de meilleurs résultats avec des outils d’IA comme Claude ? Suivez notre cours gratuit de six minutes Comment parler à l’IA pour apprendre des méthodes simples afin de rédiger des prompts plus clairs et de travailler plus efficacement avec l’IA. Les lecteurs d’eWeek bénéficient également de sept jours d’accès gratuit aux autres cours d’IA de The Neuron Academy. Découvrez toutes les leçons ici →