Le responsable de la sécurité de l’IA de l’une des entreprises d’intelligence artificielle les plus en vue de la Silicon Valley a démissionné, invoquant de profondes inquiétudes face aux crises mondiales et aux pressions internes en contradiction avec les valeurs fondamentales.
Mrinank Sharma, un haut responsable de la sécurité de l’IA chez Anthropic, a démissionné, expliquant qu’il se retirait à un moment où il estime que « le monde est en péril ».
Sharma, qui dirigeait l’équipe Safeguards Research de l’entreprise, a annoncé son départ dans une lettre adressée à ses collègues et publiée le 9 février. Il y revient sur son travail, ses inquiétudes face aux risques mondiaux et sa décision de suivre une autre voie en dehors de l’industrie de l’IA en pleine évolution.
« Je me retrouve sans cesse à devoir faire le point sur notre situation. Le monde est en péril. Et pas seulement à cause de l’IA ou des armes biologiques, mais aussi d’une série entière de crises interconnectées qui se déroulent en ce moment même », a écrit Sharma dans sa lettre.
Au cours de ses deux années chez Anthropic, Sharma a travaillé sur plusieurs initiatives essentielles en matière de sécurité. Il cite notamment la compréhension de la flagornerie de l’IA, la mise au point de défenses contre le bioterrorisme assisté par l’IA et la production de l’un des premiers dossiers de sécurité de l’IA.
Son dernier projet portait sur « la compréhension de la manière dont les assistants IA pourraient nous rendre moins humains ou déformer notre humanité », selon la lettre.
Valeurs, pression et tournant
La tension entre les valeurs et les pressions du monde réel au sein des organisations et de la société constitue un thème récurrent de la lettre de Sharma.
« Tout au long de mon parcours ici, j’ai vu à maintes reprises combien il est difficile de laisser véritablement nos valeurs guider nos actions. Je l’ai constaté en moi-même, au sein de l’organisation, où nous sommes constamment soumis à des pressions qui nous poussent à mettre de côté ce qui compte le plus, et dans l’ensemble de la société également », a-t-il écrit.
Il a ajouté une mise en garde plus générale sur le rythme auquel progresse la puissance technologique : « Nous semblons approcher d’un seuil où notre sagesse devra croître dans la même mesure que notre capacité à agir sur le monde, faute de quoi nous en subirons les conséquences. »
Bien que la lettre n’accuse pas Anthropic d’avoir commis des faits précis, son ton a alimenté les discussions au sein de la communauté technologique sur la pression éthique liée au travail à la frontière du développement de l’IA.
Au-delà des débats internes, le départ de Sharma s’inscrit dans une inquiétude plus générale du public face à l’intelligence artificielle. Sondages et débat public reflètent de plus en plus la crainte que l’IA avancée puisse provoquer des conséquences catastrophiques, allant de suppressions massives d’emplois et d’une déstabilisation sociale à la perte de l’autonomie humaine, voire à un risque existentiel.
Des technologues et des chercheurs de premier plan ont averti qu’un développement de l’IA sans garde-fous pourrait dépasser la capacité de la société à l’encadrer, une inquiétude amplifiée par la commercialisation rapide de modèles toujours plus puissants. Les propos de Sharma sur un monde « en péril » font écho à ces préoccupations plus larges, renforçant l’impression que les promesses de l’IA et son potentiel de nuisance s’accélèrent de concert.
Une tendance aux départs ?
Plutôt que de rejoindre une autre entreprise technologique, Sharma emprunte une voie peu conventionnelle. Il prévoit d’étudier la poésie et de pratiquer ce qu’il appelle une « parole courageuse ». Sharma a écrit : « Mon intention est de créer un espace pour mettre de côté les structures qui m’ont retenu ces dernières années et voir ce qui pourrait émerger en leur absence. »
Sharma n’est pas le seul à avoir récemment quitté l’entreprise.
Comme l’a Business Insider indiqué, d’autres chercheurs, dont Harsh Mehta et Behnam Neyshabur, ont récemment quitté Anthropic pour « démarrer quelque chose de nouveau ».
Cette annonce intervient alors que l’entreprise serait en train de chercher à boucler un nouveau tour de financement qui pourrait la valoriser à 350 milliards de dollars et qu’elle déploie agressivement de nouveaux modèles plus puissants, comme Claude Opus 4.6.
Sharma a conclu sa lettre par un poème de William Stafford, The Way It Is, qui parle de conserver un fil personnel à travers les changements de la vie. Il suit clairement son propre fil, quittant une industrie de l’IA en plein essor pour se confronter de l’extérieur à ses plus grandes questions.
À lire aussi : le PDG d’Anthropic, Dario Amodei, a averti à Davos que les ventes de puces d’IA à la Chine sont « comme des armes nucléaires pour la Corée du Nord ».