Mardi, Anthropic a lancé un nouveau modèle d’IA appelé Fable 5, le premier modèle de « classe Mythos » auquel les utilisateurs ordinaires de Claude pouvaient accéder. Pour revenir sur Mythos, il s’agissait du modèle vraiment inquiétant qu’Anthropic avait tenu à l’écart du grand public (mais lancé auprès de partenaires triés sur le volet) en raison de ses capacités en matière de cybersécurité.
Eh bien, au cours du week-end, le gouvernement semble avoir enclenché ce qu’.
Anthropic a décrit comme une directive du gouvernement américain de contrôle des exportations (une règle qui limite les personnes pouvant accéder aux technologies sensibles), interdisant à tout ressortissant étranger d’utiliser Fable 5 ou Mythos 5. Cela concerne les ressortissants étrangers présents aux États-Unis, mais aussi les propres employés d’Anthropic de nationalité étrangère.
Comme Anthropic affirme ne pas pouvoir distinguer les utilisateurs selon leur nationalité en temps réel, l’entreprise a désactivé les deux modèles pour l’ensemble de ses clients.
Voici ce qui s’est passé
- Anthropic a reçu la directive à 17 h 21, heure de l’Est, le vendredi 12 juin.
- Selon Anthropic, l’ordre invoquait la sécurité nationale, sans fournir de détails précis.
- Anthropic estime que l’inquiétude porte sur un jailbreak limité de Fable 5, c’est-à-dire un moyen de contourner ses garde-fous.
- L’entreprise affirme que la démonstration a mis au jour des failles logicielles mineures et déjà connues, que d’autres modèles peuvent également identifier.
- Le WSJ a rapporté que des chercheurs d’Amazon avaient signalé le problème aux autorités américaines.
Pour connaître le point de vue du gouvernement à ce sujet, le tweet de David Sacks constitue un bon résumé express.
Pourquoi c’est important
Cela fait passer la gouvernance de l’IA de « les entreprises décident de ce qu’elles lancent » à « le gouvernement peut désormais retirer un modèle de pointe après son lancement », et c’est plus ou moins la première fois que le gouvernement américain bloque la mise à disposition d’un modèle (du moins à notre connaissance). Cela modifie l’environnement opérationnel des clients, des développeurs et de toutes les équipes internationales qui construisent des produits sur l’IA américaine.
Le casse-tête pratique est énorme. Si l’accès à ce modèle dépend de la nationalité (ou d’une nationalité « favorable », disons), les fournisseurs d’IA pourraient désormais avoir besoin de contrôles d’identité, de mécanismes de contrôle de l’accès pour les employés et de barrières d’accès au modèle selon les pays. Pour une équipe à distance, la question de savoir « qui peut utiliser le meilleur modèle ? » devient une préoccupation très concrète. Heureusement, World ID propose une solution respectueuse de la vie privée qui pourrait être utilisée à cette fin… mais la situation n’est toujours idéale pour personne.
Ce fil Reddit a bien capturé l’inquiétude des acheteurs : si un modèle peut disparaître du jour au lendemain, les équipes chargées des achats doivent désormais prendre en compte la géopolitique de son pays d’origine.
Notre analyse
Anthropic l’a un peu cherché, non ? L’entreprise demandait depuis longtemps au gouvernement de réglementer le secteur et de bloquer les déploiements dangereux de ce type.
Fait intéressant, elle soutient désormais que ce blocage a contourné le processus transparent et technique qu’un tel pouvoir exige. En laissant de côté la profonde ironie, c’est un bon argument… il aurait probablement mieux valu prévoir un cycle d’examen plus long et arrêter les choses avant leur mise à disposition du public, afin d’éviter le casse-tête que cela vient de provoquer. Quoi qu’il en soit, Yann LeCun n’a pas mâché ses mots à ce sujet :
On peut aussi comprendre pourquoi un bouton d’arrêt gouvernemental pourrait être nécessaire pour des modèles véritablement dangereux, notamment si leurs capacités cyber ou biologiques franchissent une limite sérieuse.
Le fait qu’Amazon ait signalé le problème est intéressant ; ont-ils subi une fuite de données, par exemple ? Mais le faire une fois qu’un modèle est public est terriblement compliqué. En substance, les entreprises ont besoin de règles claires auxquelles elles peuvent se conformer, plutôt que de bâtir des activités sur des modèles susceptibles de disparaître à la suite d’une directive unique, apparemment prise dans la réaction.
Le problème plus large
Si nous commençons désormais à bloquer l’accès aux modèles d’IA pays par pays, qu’est-ce qui empêchera la Chine de faire de même ?
Cela pourrait signifier que les entreprises américaines n’auront plus accès aux modèles de pointe à poids ouverts (c’est-à-dire des modèles dont les « poids » peuvent être copiés et exécutés par n’importe qui sur ses propres serveurs), qui contribuent à maintenir des prix compétitifs dans l’IA et empêchent les entreprises américaines de surfacturer les sociétés qui dépendent de ces modèles pour leurs activités d’ingénierie et d’automatisation. Et ce serait plutôt mauvais pour tout l’écosystème de l’IA, à l’exception d’OpenAI et d’Anthropic, franchement.
Note de la rédaction : cet article a d’abord été publié dans notre publication sœur, The Neuron.