Les systèmes d’IA ne créent pas encore leurs propres successeurs. Anthropic estime que le secteur devrait commencer à se préparer comme si cela pouvait arriver.
Dans un nouveau rapport, l’entreprise avertit que l’IA prend en charge une part croissante du codage, du débogage et des travaux de recherche au sein des laboratoires à la pointe, y compris chez Anthropic. Si cette tendance se poursuit, les futurs systèmes pourraient devenir capables de contribuer à concevoir et à développer des modèles plus puissants, plus rapidement que les institutions ne peuvent les tester, les réglementer ou les contenir.
Le problème n’est pas une révolte de robots digne du cinéma. C’est un problème de gouvernance : que se passe-t-il lorsque les outils utilisés pour créer l’IA commencent à accélérer la génération suivante d’IA ?
Claude écrit déjà une grande partie du code d’Anthropic
Anthropic a indiqué dans un nouveau rapport de Anthropic Institute que les humains pilotent toujours le développement des modèles. Les systèmes d’IA prennent néanmoins en charge une part croissante du codage, du débogage et de la recherche technique au sein de l’entreprise.
L’entreprise a déclaré que ses ingénieurs livrent désormais, en moyenne, huit fois plus de code par trimestre que sur la période allant de 2021 à 2025. En mai 2026, Claude était à l’origine de plus de 80 % du code intégré à sa base de code, selon le rapport.
La tendance laisse entrevoir un avenir possible dans lequel un système d’IA peut concevoir, créer et entraîner de manière autonome un successeur plus performant. Anthropic a qualifié ce phénomène d’« amélioration récursive de soi », tout en précisant que le secteur n’en est pas encore là et pourrait ne jamais y parvenir.
De telles évolutions pourraient compliquer la supervision. Si les systèmes d’IA contribuent à créer leurs propres successeurs, les laboratoires et les régulateurs pourraient disposer de moins de temps pour vérifier que ces systèmes sont sûrs, exacts et alignés sur les objectifs humains.
La supervision devient la question centrale
Reuters a rapporté qu’Anthropic souhaite que les développeurs d’IA de pointe créent une méthode coordonnée et vérifiable permettant de ralentir ou de suspendre le développement si des systèmes avancés commencent à s’améliorer plus rapidement que la société ne peut en gérer les risques.
Anthropic a averti qu’une pause décidée par une seule entreprise aurait un impact limité si d’autres laboratoires bien financés continuaient leur course en avant. L’entreprise a souligné qu’un ralentissement efficace nécessiterait une coordination entre plusieurs laboratoires à la pointe, des règles claires définissant ce qui déclenche ou met fin à une pause, ainsi qu’une supervision digne de confiance.
Selon Axios, Anthropic prévoit d’informer les parlementaires sur l’amélioration récursive de soi dans les prochains mois. Jack Clark, cofondateur d’Anthropic et responsable des politiques publiques, a déclaré à Axios : « Nous avons toujours estimé que la meilleure chose à faire était de faire connaître le concept et, en gros, de donner aux gens une idée de ce qui les attend. »
D’un avertissement de science-fiction à un risque pour les entreprises
Interesting Engineering a comparé ce scénario à « Age of Ultron », une référence populaire qui correspond bien à l’inquiétude suscitée par des machines contribuant à créer des machines plus puissantes. Dans le monde réel, toutefois, le problème est moins théâtral : les entreprises d’IA utilisent de plus en plus des systèmes d’IA pour les aider à coder, à effectuer des recherches et à réaliser d’autres travaux de développement.
Anthropic a déclaré que les systèmes actuels restent loin d’une autonomie complète. Les humains choisissent les objectifs de recherche, évaluent les résultats et décident quels systèmes peuvent aller de l’avant. Mais l’entreprise affirme que l’IA prend en charge une part croissante du travail de développement, une tendance qui pourrait, à terme, mener à des systèmes capables d’aider à concevoir des successeurs plus performants.
Anthropic prévoit d’aborder cette question avec les décideurs publics, les chercheurs, les organisations de la société civile et d’autres entreprises d’IA dans les prochains mois, alors qu’elle étudie les garde-fous qui pourraient être nécessaires si les systèmes d’IA s’impliquent davantage dans le développement des générations futures de modèles.
Pour en savoir plus : Anthropic dépose un dossier pour entrer en Bourse, ouvrant la voie à une introduction en Bourse spectaculaire dans le secteur de l’IA