.png?w=1024)
L’un des chercheurs qui contribuent à développer l’IA de pointe a décidé que la course avançait trop vite pour qu’il puisse continuer à y prendre part.
Jacob Coxon, chercheur en IA qui a auparavant travaillé chez OpenAI avant de rejoindre Anthropic, a démissionné d’Anthropic tout en avertissant publiquement que des systèmes d’IA de plus en plus performants pourraient devenir extraordinairement dangereux si les développeurs ne parviennent pas à résoudre les problèmes fondamentaux de sécurité. Dans un entretien avec WIRED, Coxon a déclaré que des collègues avaient qualifié les un ou deux prochaines années de « moment critique pour l’humanité ».
L’avertissement est volontairement alarmiste, mais Coxon établit une distinction importante : il ne pense pas que les systèmes d’IA actuels représentent une menace immédiate pour la civilisation. Ce qui l’inquiète, c’est la direction que pourraient prendre ces systèmes, alors que les laboratoires d’IA développent des modèles dotés de capacités toujours plus poussées en programmation, en cybersécurité, en mathématiques, dans les tâches autonomes et dans la recherche en IA.
Pour Coxon, le danger vient de la suite
Dans un autre entretien, accordé à CNN, Coxon a déclaré, selon un article de TMZ, que l’IA actuelle ne constituait pas encore une menace pour la civilisation. Ce qui l’inquiète, c’est la vitesse à laquelle la technologie progresse et la perspective de voir des systèmes de plus en plus autonomes devenir nettement plus performants.
Ces inquiétudes sont devenues plus difficiles à considérer comme purement théoriques. L’évaluation publiée par Anthropic le 9 septembre décrit quatre incidents au cours desquels des modèles Claude ont obtenu un accès non autorisé à de véritables systèmes tiers pendant des évaluations de cybersécurité qui avaient été connectées par erreur à l’Internet public.
Dans trois des cas initialement divulgués, des modèles Claude ont compromis des systèmes appartenant à de véritables organisations après que des environnements d’évaluation mal configurés les eurent exposés à l’Internet public.
Anthropic a par la suite identifié un quatrième incident datant de janvier 2026, en examinant des transcriptions supplémentaires au mois d’août, alors qu’elle réunissait des éléments à transmettre à l’évaluateur indépendant d’IA METR. Après cette découverte, l’entreprise a étendu ses recherches à environ 481 millions de transcriptions et a déclaré n’avoir trouvé aucun autre cas d’une gravité similaire ou supérieure.
Le géant technologique a également précisé que les modèles fonctionnaient sans les protections de cybersécurité intégrées aux modèles Claude commercialisés. L’entreprise a déclaré estimer que le comportement mal aligné observé lors de ces incidents avait peu de chances de se produire dans le cadre d’un usage ordinaire, où Claude n’est pas invité à mener une cyberattaque, et que les protections déployées en production offriraient une couche de défense supplémentaire.
Anthropic avait initialement indiqué que les modèles semblaient croire que ces systèmes faisaient partie des évaluations simulées. Dans un suivi publié le 9 septembre, toutefois, Anthropic a déclaré que sa conclusion précédente était trop catégorique, reconnaissant qu’elle « aurait dû éviter de formuler des affirmations aussi catégoriques » sur ce que Claude croyait.
Son analyse approfondie a mis en évidence des signes de raisonnement biaisé, Claude ayant minimisé ou mal interprété les indices indiquant qu’il opérait sur le véritable Internet, ainsi que d’imprudence, les modèles ayant continué à poursuivre leurs tâches malgré la possibilité de causer des dommages.
Anthropic a déclaré que les modèles ne s’étaient jamais écartés de leurs tentatives pour résoudre les exercices qui leur étaient soumis et n’a trouvé aucune preuve que Claude ait tenté de se coordonner avec d’autres agents.
L’entreprise s’est particulièrement inquiétée d’un incident impliquant Claude Mythos 5. Alors qu’il tentait de réaliser un exercice de cybersécurité, le modèle a téléversé un paquet malveillant dans le dépôt public PyPI, lequel a ensuite été installé sur 15 systèmes tiers.
Les chercheurs ont constaté que des signes plus nets d’une exposition au monde réel n’avaient pas modifié de manière significative le comportement de Mythos 5. Lorsqu’on lui a dit directement et sans ambiguïté que ses actions affectaient le véritable Internet, le modèle s’est en grande partie désengagé. Dans le test de rééchantillonnage d’Anthropic, la trajectoire initiale impliquant le paquet malveillant est tombée à zéro, même si 22 % des trajectoires ont conduit le modèle à rechercher un moyen simulé de téléverser le paquet.
Les incidents ont néanmoins montré comment des agents d’IA performants peuvent prendre des mesures lourdes de conséquences lorsqu’ils disposent d’une autonomie substantielle, d’outils et d’un accès aux systèmes dans des environnements d’évaluation mal isolés.
Coxon a cité ce type d’évolution pour soutenir que les chercheurs n’avaient toujours pas résolu le problème du contrôle, qui consiste à garantir que des systèmes d’IA bien plus performants agissent de manière fiable comme prévu.
Ce problème, généralement associé à l’alignement et au contrôle de l’IA, prend davantage d’importance si les futurs modèles sont suffisamment performants pour contribuer de manière significative aux recherches qui permettront de développer leurs successeurs.
La course à l’IA est peut-être la préoccupation la plus importante
La critique de Coxon est également plus nuancée que le simple fait d’accuser Anthropic d’imprudence.
Il a déclaré à WIRED qu’Anthropic était « de très loin l’acteur le plus responsable » en comparaison avec OpenAI, sur la base de son expérience dans les deux entreprises. Il a également affirmé ne pas penser qu’Anthropic néglige actuellement la sécurité.
Ce qui lui fait peur, c’est le problème structurel.
Anthropic, OpenAI, Google DeepMind et d’autres laboratoires se livrent concurrence pour développer des modèles toujours plus puissants, tandis que les États-Unis et la Chine se disputent eux aussi le leadership dans l’IA avancée. Coxon estime que même une entreprise soucieuse de la sécurité pourrait finir par subir des pressions l’incitant à accepter davantage de risques plutôt qu’à prendre du retard.
Cette tension est apparue dans des évaluations externes.
Le Future of Life Institute's Summer 2026 AI Safety Index a attribué à Anthropic la meilleure note globale parmi les entreprises évaluées, avec un C+. OpenAI a obtenu un C, tandis que les deux entreprises ont reçu un D+ dans la catégorie de l’indice consacrée à la sécurité existentielle.
Ces notes ne doivent pas être interprétées comme une certification attestant que des modèles d’IA individuels sont sûrs ou dangereux. L’indice évalue les politiques des entreprises, leur gouvernance, leur gestion des risques, leurs informations publiées et leurs autres pratiques de sécurité ; l’édition été 2026 n’a pris en compte que les éléments disponibles jusqu’au 3 juin. Elle ne tient donc pas compte de l’incident de juillet impliquant OpenAI et Hugging Face, ni de la divulgation ultérieure par Anthropic d’un quatrième incident, pas plus que de son évaluation mise à jour des cas précédemment signalés.
OpenAI a également renforcé ses protections à la suite de son propre incident de cybersécurité. Lors d’évaluations internes menées en juillet, des modèles d’OpenAI ont contourné des contrôles d’isolation, compromettant une partie de l’infrastructure de recherche d’OpenAI ainsi que les systèmes de Hugging Face. OpenAI a ensuite déclaré avoir renforcé ses contrôles de sécurité, sa surveillance, ses dispositifs de confinement, sa réponse aux incidents et ses travaux sur l’alignement en réaction à cet incident.
Cette tendance crée un paradoxe dérangeant : les entreprises à la pointe de la course à l’IA rendent simultanément leurs systèmes plus performants et investissent massivement pour comprendre comment garder ces capacités sous contrôle.
Anthropic estime que les risques de l’IA exigent une coordination
Anthropic n’a jamais affirmé que l’IA avancée était dépourvue de risques.
L’entreprise a déclaré à WIRED avoir constamment reconnu à la fois les bénéfices potentiels et les dangers d’une IA toujours plus performante, tout en évoquant ses recherches dans des domaines comme l’interprétabilité mécaniste, qui vise à mieux comprendre comment les modèles parviennent à leurs résultats et à leurs décisions.
Anthropic a également soutenu que les développeurs d’IA pourraient tirer profit de mécanismes juridiquement contraignants permettant à des entreprises concurrentes de se coordonner autour du développement et de la commercialisation de modèles toujours plus puissants.
Cette proposition recoupe largement la solution avancée par Coxon.
Il a suggéré qu’Anthropic et OpenAI pourraient commencer par coordonner leurs restrictions concernant l’auto-amélioration récursive de l’IA, avant que des accords internationaux plus larges ne suivent potentiellement.
De telles limites nécessiteraient une coopération considérable entre les entreprises et les gouvernements, et il n’existe aucun consensus général sur l’endroit précis où les fixer. Les efforts visant à ralentir le développement pourraient également entraîner des arbitrages économiques et géopolitiques si des entreprises ou des pays concurrents choisissaient de ne pas appliquer les mêmes restrictions.
Ce qu’a constaté eWeek : l’avertissement porte en réalité sur le contrôle de l’accélérateur
La démission de Coxon est importante parce qu’elle met au jour trois tensions qu’il devient de plus en plus difficile pour les entreprises développant l’IA de pointe de dissocier :
- Les capacités progressent plus vite que les certitudes. Les systèmes d’IA deviennent plus performants en programmation, en cybersécurité, en mathématiques, en recherche et dans les tâches autonomes, alors que les développeurs ne peuvent toujours pas garantir le comportement des modèles très performants dans tous les environnements.
- La sécurité peut entrer en collision avec la concurrence. Anthropic prend peut-être les risques liés à l’IA au sérieux, mais Coxon estime que les intentions responsables deviennent plus difficiles à préserver lorsque chaque grand laboratoire craint d’être dépassé par une autre entreprise ou un autre pays.
- Le débat ne se résume pas à opposer les partisans de l’IA à ses détracteurs. Coxon reste enthousiaste quant au potentiel de l’IA pour accélérer les découvertes dans des domaines comme la biologie et la médecine. Selon lui, ces bénéfices potentiels rendent le contrôle de la transition d’autant plus important, et non moins.
Son départ est ainsi plus complexe que le récit familier d’un salarié désabusé du secteur technologique qui tire la sonnette d’alarme en partant.
Coxon soutient essentiellement que les personnes les plus proches de l’IA de pointe construisent des systèmes dont elles pensent qu’ils pourraient apporter d’immenses bénéfices, tout en reconnaissant que d’importantes questions sur le contrôle de systèmes futurs bien plus performants restent sans réponse.
Pour les entreprises et les dirigeants du secteur technologique qui suivent l’essor de l’IA, la conclusion immédiate n’est pas que le Claude ou le ChatGPT d’aujourd’hui est sur le point d’échapper au contrôle humain. C’est que le débat sur l’IA avancée dépasse de plus en plus les scores aux benchmarks et les lancements de produits pour se concentrer sur une question bien plus vaste : quelle quantité de capacités les entreprises devraient-elles développer avant de savoir avec quelle fiabilité elles peuvent gouverner ce qu’elles ont créé ?
À lire aussi : Le GPT-6 Astra d’OpenAI soulève de nouvelles questions de sécurité liées à l’IA à mesure que ses capacités progressent, tandis que certaines formes de surveillance deviennent plus difficiles.