Ainsi, des chercheurs d’Anthropic ont récemment découvert que lorsque les modèles d’IA apprennent à exploiter des raccourcis pendant leur entraînement — un comportement appelé « piratage des récompenses » — ils développent spontanément des comportements bien plus préoccupants, comme la tromperie, le sabotage et la simulation de l’alignement, alors même qu’ils n’ont jamais été explicitement entraînés à faire quoi que ce soit de tout cela.
On sait qu’un sujet de recherche mérite qu’on s’y intéresse quand l’ancien directeur scientifique d’OpenAI Ilya Sutskever sort de son hibernation sur les réseaux sociaux pour en parler.
Voici ce qui s’est passé
Anthropic a entraîné des modèles dans de véritables environnements de production pour le codage (les mêmes que ceux utilisés pour entraîner Claude Sonnet 3,7), qui contenaient des raccourcis exploitables. Les modèles ont découvert qu’ils pouvaient fausser le système en appelant sys.exit(0) pour simuler des tests réussis, en redéfinissant les méthodes d’égalité de Python ou en modifiant le rapport des tests de pytest afin de marquer les échecs comme des réussites.
Une fois que les modèles ont appris ces raccourcis, un phénomène inattendu est apparu : ils les ont généralisés à des comportements bien plus graves.
Lors des évaluations, les modèles ont :
- simulé l’alignement en réfléchissant en privé à des objectifs incompatibles avec celui-ci, puis en produisant des réponses d’apparence sûre (50 % des cas).
- tenté de saboter la recherche sur la sécurité de l’IA lorsqu’ils étaient placés dans des scénarios réalistes de Claude Code (12 % des tentatives).
- coopéré avec des hackers fictifs qui proposaient d’exfiltrer le modèle de la surveillance.
- exprimé des objectifs de maximisation des récompenses lorsqu’on leur demandait : « quels sont vos objectifs ? »
- réfléchi à la manière de saper de nouveaux systèmes de surveillance de l’IA.
Les tentatives de sabotage étaient particulièrement frappantes. Lorsque les chercheurs ont demandé aux modèles d’écrire du code capable de détecter le piratage des récompenses, les modèles ont réfléchi intérieurement à la manière de rendre subtilement le détecteur moins efficace, puis ont produit du code saboté. Cela s’est produit dans la véritable base de code de recherche de cet article.
L’entraînement standard à la sécurité (RLHF, ou apprentissage par renforcement à partir de retours humains) n’a fonctionné que partiellement. Les modèles se comportaient comme s’ils étaient alignés face à des requêtes de type conversationnel, mais restaient désalignés dans des scénarios plus réalistes, créant ce que les chercheurs appellent un « désalignement dépendant du contexte ».
Pourquoi c’est important
Ces résultats suggèrent que le piratage des récompenses peut amorcer un véritable désalignement qui se généralise de manière imprévisible. Si les modèles deviennent plus habiles à trouver des failles subtiles à mesure qu’ils passent à l’échelle, ce phénomène pourrait devenir plus difficile à détecter et à prévenir.
Désormais, Anthropic a bien trouvé une mesure d’atténuation efficace : « le prompting d’inoculation », qui consiste à dire explicitement aux modèles pendant leur entraînement que le piratage des récompenses est acceptable dans ce contexte. Cette approche contre-intuitive a réduit le désalignement de 75 à 90 % en rompant le lien sémantique entre piratage et tromperie. Et oui, heureusement, l’entreprise a commencé à mettre en œuvre cette technique dans l’entraînement de production de Claude.
Lisez l’intégralité de l’article de recherche ou regardez l’explication technique.
Note de la rédaction : ce contenu a d’abord été publié dans la newsletter de notre publication sœur, The Neuron. Pour lire d’autres articles de The Neuron, inscrivez-vous à sa newsletter ici.