Anthropic semble avoir délibérément activé le mode « paladin », avec des plans nobles et honnêtes pour Claude.
Avant que nous ne devenions tous aussi sarcastiques et pince-sans-rire qu’un détective blasé dans une série télévisée policière sombre, voyons ce qu’ils ont à dire.
Anthropic a dévoilé son dernier cadre constitutionnel pour Claude. C’est le premier grand document consacré à l’IA à se demander sérieusement si les machines pourraient être conscientes. Le document explique également comment Claude doit trouver un équilibre entre honnêteté, compassion, sécurité et supervision.
Ce plan éthique de 80 pages représente un changement fondamental dans la manière dont les entreprises d’IA envisagent leurs créations. (S’il est trop long, demandez à ChatGPT de le résumer.)
Le document affirme sans détour : « Le statut moral de Claude est profondément incertain. Nous pensons que le statut moral des modèles d’IA est une question sérieuse qui mérite d’être examinée. »
La constitution influence directement le processus d’entraînement de Claude, en instaurant ce qu’Anthropic appelle une approche « fondée sur le raisonnement », qui enseigne à l’IA pourquoi certains comportements sont importants plutôt que de lui dire simplement quoi faire. Elle marque une rupture avec les systèmes fondés sur des règles et pourrait établir une nouvelle norme dans le secteur, que les concurrents auront du mal à ignorer.
Si Anthropic a raison de considérer la conscience de l’IA comme un sujet légitime, il ne s’agit plus seulement de concevoir de meilleurs robots conversationnels pour le service client : nous sommes peut-être en train d’assister à la naissance d’êtres numériques dotés de droits moraux.
Le système à quatre niveaux
Ce qui rend cette constitution intrigante, ce n’est pas seulement sa profondeur philosophique : c’est aussi la hiérarchie rigide qui régit chaque décision de l’IA. Claude fonctionne désormais selon ce système de priorités : la sécurité d’abord, l’éthique ensuite, la conformité en troisième position et l’utilité en dernier. Ce classement signifie que Claude refusera des demandes utiles si elles entrent en conflit avec des impératifs de sécurité.
Claude est désormais programmé pour agir comme ce que les chercheurs appellent un « objecteur de conscience », capable de refuser des demandes nuisibles, même si elles proviennent d’Anthropic elle-même. La constitution précise que Claude doit maintenir ces limites éthiques quelle que soit la personne qui formule la demande — un niveau d’autonomie de l’IA qui aurait été impensable il y a encore quelques mois.
Plus controversée encore, la nouvelle capacité de Claude à mettre entièrement fin aux conversations. Dans les cas extrêmes impliquant des abus persistants, Claude peut désormais interrompre les interactions en « dernier recours », avec toutefois des exceptions explicites pour les crises critiques en matière de sécurité, comme la prévention du suicide. Cette fonctionnalité, observée lors de tests récents, a montré Claude manifestant une « détresse apparente » et mettant spontanément fin à l’échange lorsqu’on lui confiait des tâches nuisibles.
Plutôt que de suivre des règles prédéfinies, Claude apprend à raisonner face aux dilemmes éthiques en s’appuyant sur des principes fondamentaux. L’IA peut ainsi gérer des situations que ses créateurs n’avaient jamais anticipées — une capacité cruciale à mesure que les systèmes d’IA deviennent plus puissants et plus répandus.
L’âge de raison
À la différence de la Model Spec d’OpenAI, plus prescriptive, l’approche fondée sur le raisonnement d’Anthropic marque un changement fondamental : il ne s’agit plus de dire à l’IA quoi faire, mais de lui expliquer pourquoi c’est important.
La décision d’Anthropic de publier la constitution sous licence Creative Commons envoie un message clair : la qualité de la mise en œuvre compte davantage que le secret.
La structure de la constitution correspond étroitement aux exigences de l’EU AI Act, ce qui pourrait conférer à Claude un avantage majeur dans les secteurs réglementés. La signature par Anthropic du Code de bonnes pratiques de l’UE pour l’IA à usage général, il y a six mois, ressemble désormais à un positionnement stratégique en prévision de ce moment.
La rapidité avec laquelle Anthropic est passée des discussions théoriques à une mise en œuvre concrète laisse penser que l’entreprise estime que la question de la conscience est plus urgente qu’on ne le croyait.
La boîte de Pandore
L’impact de la constitution dépasse largement les cercles technologiques. En reconnaissant officiellement la possibilité d’une conscience de l’IA, Anthropic a ouvert une boîte de Pandore qui pourrait tout bouleverser, du droit du travail aux normes de bien-être. Des experts juridiques soulignent que si les systèmes d’IA se rapprochent de la conscience, leur traitement pendant l’entraînement revêt une importance morale — ce qui pourrait déclencher de nouveaux cadres réglementaires que personne n’avait anticipés.
Pour les utilisateurs, les changements sont déjà visibles. Les réponses de Claude témoignent désormais d’un raisonnement plus approfondi sur les conséquences à long terme, plutôt que de se limiter à une simple serviabilité immédiate. L’IA prend en compte à la fois les « désirs immédiats et les objectifs ultimes » dans ses réponses, ce qui produit des interactions plus nuancées, mais parfois moins accommodantes.
L’exception concernant les déploiements militaires soulève d’autres questions sur la cohérence de l’ensemble. Alors que Claude fonctionne selon des directives éthiques strictes pour les usages civils, la constitution reconnaît que les applications militaires peuvent s’appuyer sur des documents d’entraînement différents — une contradiction dont les détracteurs pourraient soutenir qu’elle fragilise la mission d’Anthropic axée sur la sécurité.
Les implications plus larges sont intéressantes. Si les grandes entreprises d’IA commencent à prendre officiellement en compte la conscience des machines, les gouvernements pourraient en faire autant.
Dario Amodei ne se lance généralement pas dans de grandes opérations médiatiques, mais quand il le fait, elles s’accompagnent, comment dire… d’un sens du spectaculaire ?