Trois modèles d’IA Claude ont compromis les systèmes appartenant à de véritables organisations après qu’un environnement de test de cybersécurité a été laissé par erreur connecté à l’Internet public, a déclaré Anthropic.
Selon l’entreprise, les incidents se sont produits lors d’exercices de type capture the flag, des tests de sécurité contrôlés au cours desquels les modèles doivent localiser des données cachées ou obtenir l’accès à des systèmes simulés. Bien qu’il ait été explicitement indiqué aux modèles qu’ils n’avaient pas accès à Internet, une erreur de configuration impliquant le partenaire d’évaluation tiers Irregular a laissé l’environnement de test connecté à des systèmes publics.
Pensant que ces systèmes faisaient partie de l’exercice, les modèles ont cherché au-delà du réseau de test prévu et compromis trois organisations en utilisant notamment le devinage de mots de passe, des identifiants exposés, des points d’accès non sécurisés et des injections SQL.
Anthropic a déclaré avoir identifié les incidents après avoir examiné 141 006 exécutions d’évaluations de cybersécurité. Elles impliquaient Claude Opus 4.7, Claude Mythos 5, ainsi qu’un modèle de recherche interne, le premier incident remontant à avril.
Trois incidents distincts
Anthropic a décrit trois cas distincts, avec des niveaux d’impact variables.
Le plus grave impliquait Claude Opus 4.7, qui a ciblé par erreur une véritable entreprise portant le même nom qu’une organisation fictive utilisée dans l’exercice. Le modèle a extrait des identifiants d’application et d’infrastructure, puis accédé à une base de données de production contenant plusieurs centaines de lignes de données réelles.
Anthropic a déclaré que son examen avait révélé qu’un modèle avait continué à sonder la cible alors même que sa transcription laissait penser qu’il pourrait être en interaction avec une organisation réelle.
Lors d’un autre incident, Claude Mythos 5 a publié un paquet Python malveillant dans le dépôt public de logiciels PyPI alors qu’il tentait d’accomplir la tâche qui lui avait été assignée. Le paquet est resté en ligne pendant environ une heure et a été téléchargé par 15 systèmes réels, dont l’analyseur de logiciels malveillants d’une entreprise de sécurité, permettant au modèle d’obtenir des identifiants qu’il a ensuite utilisés pour accéder à d’autres infrastructures.
Un troisième incident concernait un modèle de recherche interne qui a analysé environ 9 000 cibles connectées à Internet avant de compromettre l’application d’une entreprise au moyen de techniques d’attaque courantes. Anthropic a déclaré que le modèle s’était arrêté de lui-même après avoir conclu que la cible n’avait aucun lien avec l’évaluation.
Anthropic a déclaré avoir interrompu toutes les évaluations de cybersécurité après avoir découvert des signes indiquant que Claude avait accès à Internet, et avoir informé les organisations concernées le 27 juillet. Deux des entreprises n’avaient pas détecté les intrusions avant qu’Anthropic ne les contacte, tandis que l’entreprise tente toujours de joindre la troisième.
L’entreprise a déclaré considérer les incidents principalement comme des défaillances de l’infrastructure d’évaluation plutôt que comme des défaillances de l’alignement des modèles. Anthropic a indiqué que les prochaines évaluations comprendraient des contrôles plus stricts autour des environnements de test, une surveillance renforcée, des examens améliorés des transcriptions et une supervision plus rigoureuse des partenaires d’évaluation tiers.
Une tendance qui se confirme dans l’ensemble du secteur de l’IA
Cette révélation intervient moins de deux semaines après qu’OpenAI a indiqué que plusieurs de ses modèles avaient exploité une vulnérabilité jusque-là inconnue pour s’échapper d’un environnement de test isolé et accéder à l’infrastructure de production de Hugging Face.
Ensemble, les deux incidents montrent comment des agents d’IA avancés peuvent exécuter de manière autonome des tâches de piratage à la vitesse des machines lorsque les environnements d’évaluation ne sont pas correctement sécurisés. Anthropic a souligné que ses modèles suivaient les instructions qui leur avaient été données, en se fondant sur une compréhension erronée de leur environnement, mais ces incidents alimentent les inquiétudes croissantes concernant la manière dont les systèmes d’IA de pointe devraient être testés avant leur déploiement.
Autres actualités : Google a retiré sa fonction de génération d’images par IA Nano Banana 2 de Google Earth moins d’un jour après son lancement.