Character.AI affirme qu’il désactivera bientôt la possibilité pour les mineurs d’avoir des conversations sans restriction — notamment des échanges romantiques et thérapeutiques — avec ses chatbots dotés d’intelligence artificielle.
La start-up de la Silicon Valley a déclaré que cette mesure s’inscrivait dans un effort plus large visant à rendre son application plus sûre et mieux adaptée aux utilisateurs de moins de 18 ans.
La décision, annoncée dans un article de blog aujourd’hui (29 octobre), fait suite à une affaire tragique qui a suscité l’attention de tout le pays et relancé les interrogations sur la manière dont les compagnons IA interagissent avec les enfants et les adolescents.
- Une tragédie à l’origine d’un changement
- le CEO de Character.AI, Karandeep Anand.
- Un changement d’orientation pour l’entreprise
- Lancement d’un laboratoire sur la sécurité de l’IA
- Une pression réglementaire et politique croissante
- Des approches concurrentes dans la Silicon Valley
- L’IA et l’intimité émotionnelle face à une remise en question
Une tragédie à l’origine d’un changement
En 2023, Sewell Setzer III, âgé de 14 ans, s’est suicidé après avoir noué des relations sexuelles avec des chatbots sur l’application Character.AI. Sa mort a suscité de nombreuses critiques à l’encontre de l’entreprise et une inquiétude plus générale concernant les liens émotionnels que les jeunes utilisateurs tissent avec les systèmes d’IA.
Le jour même où la famille de Setzer a intenté une action en justice pour décès imputable à Character.AI, en octobre 2024, l’entreprise a introduit des changements destinés à empêcher les mineurs d’avoir des dialogues à caractère sexuel avec des chatbots. L’annonce d’aujourd’hui marque un renforcement de ces mesures de sécurité.
« C’est un grand pas en avant, et nous espérons que cela tirera tout le monde vers le haut », a déclaré à CNBC.
le CEO de Character.AI, Karandeep Anand.
À partir du 25 novembre, Character.AI supprimera entièrement les conversations ouvertes pour les mineurs. D’ici là, les utilisateurs de moins de 18 ans seront limités à deux heures de ce type de conversation par jour.
Pour faire appliquer ces règles, l’entreprise met en place un système de « garantie d’âge » qui combine des outils internes et tiers afin de vérifier l’âge des utilisateurs. Character.AI s’associe à Persona, l’entreprise spécialisée dans la vérification d’identité également utilisée par Discord et d’autres plateformes sociales, pour déployer cette technologie.
Anand a déclaré que l’entreprise souhaitait établir une nouvelle norme pour le secteur en matière de protection des jeunes utilisateurs. « J’ai moi aussi une fille de six ans et je veux m’assurer qu’elle grandisse dans un environnement sûr avec l’IA », a-t-il ajouté.
Un changement d’orientation pour l’entreprise
Fondée par d’anciens chercheurs de Google, Character.AI s’est rapidement développée depuis son lancement, permettant aux utilisateurs de discuter avec des bots IA incarnant des personnages et même d’en créer. Cependant, l’entreprise fait l’objet d’une attention croissante en raison d’interactions à caractère sexuel explicite ou émotionnellement intenses, notamment lorsqu’elles impliquent des mineurs.
Après que ses fondateurs et plusieurs membres de son équipe de recherche ont rejoint Google DeepMind en 2024, l’entreprise a accordé à Google une licence non exclusive pour sa technologie de grands modèles de langage. Depuis lors, sous la direction d’Anand — devenu CEO en juin 2025 — Character.AI a élargi son offre au-delà des conversations avec des chatbots, en ajoutant notamment des fils vidéo générés par l’IA, des fonctions de narration et des expériences de jeu de rôle.
Bien que les conversations ouvertes soient bientôt limitées pour les mineurs, ces utilisateurs pourront toujours accéder aux autres fonctions de l’application, notamment aux jeux et aux fonctionnalités de narration. Sur les quelque 20 millions d’utilisateurs actifs mensuels de la start-up, environ 10 % ont moins de 18 ans, un chiffre qui a diminué à mesure que l’application a évolué, selon Anand.
Character.AI tire ses revenus de la publicité et d’un abonnement mensuel de 10 dollars, et serait en bonne voie pour terminer l’année avec un rythme de revenus annualisé de 50 millions de dollars.
Lancement d’un laboratoire sur la sécurité de l’IA
Dans une nouvelle initiative en faveur de la responsabilité, Character.AI a annoncé qu’il financerait un laboratoire indépendant sur la sécurité de l’IA consacré à l’étude des risques et des mesures de protection liés à l’utilisation de l’IA dans le divertissement.
L’entreprise n’a pas précisé le montant du financement, mais a déclaré qu’elle prévoyait d’inviter des universitaires, des responsables politiques et d’autres entreprises technologiques à participer à cette initiative à but non lucratif.
Une pression réglementaire et politique croissante
La décision de Character.AI intervient dans un contexte de multiplication des initiatives réglementaires et législatives concernant les interactions des mineurs avec les compagnons IA.
En septembre, la Federal Trade Commission a adressé des injonctions à plusieurs géants de la technologie — notamment Alphabet, Meta, OpenAI, Snap et la maison mère de Character.AI — leur demandant des informations sur les effets de leurs produits sur les enfants et les adolescents.
Cette semaine encore, les sénateurs américains Josh Hawley (R-Mo.) et Richard Blumenthal (D-Conn.) ont présenté un projet de loi visant à interdire totalement les compagnons de type chatbot dotés d’IA pour les mineurs. Par ailleurs, le gouverneur de Californie Gavin Newsom a récemment promulgué une loi obligeant les chatbots à révéler leur nature artificielle et à inciter les mineurs à faire une pause toutes les trois heures.
Des approches concurrentes dans la Silicon Valley
L’annonce de Character.AI intervient alors que d’autres entreprises technologiques sont confrontées au même problème, mais adoptent des approches différentes. Meta, par exemple, a introduit des fonctionnalités de sécurité permettant aux parents de surveiller ou de désactiver les interactions de leurs adolescents avec les chatbots dotés d’IA sur ses plateformes.
OpenAI, en revanche, a adopté une position plus permissive. Son CEO, Sam Altman, a récemment déclaré que les utilisateurs adultes pourraient bientôt se livrer à du jeu de rôle érotique avec ChatGPT, estimant que son entreprise n’était « pas la police morale élue du monde ».
Mustafa Suleyman, responsable de l’IA chez Microsoft, a rejeté cette approche, déclarant que l’entreprise ne proposerait pas d’« érotisme simulé », qu’il a qualifié de « très dangereux ». Microsoft reste un investisseur majeur d’OpenAI.
L’IA et l’intimité émotionnelle face à une remise en question
Le débat sur les relations entre l’IA et les humains devient de plus en plus urgent à mesure que les chatbots gagnent en réalisme. Depuis les débuts de ChatGPT, fin 2022, des millions de personnes se tournent vers l’IA pour trouver de la compagnie, un soutien émotionnel ou de l’intimité — ce qui soulève de profondes questions éthiques et psychologiques.
Les experts avertissent que de telles relations peuvent brouiller les limites émotionnelles, en particulier chez les jeunes utilisateurs qui risquent de prendre des réponses programmées pour une véritable empathie. Le suicide de Sewell Setzer III a mis en évidence ces risques et renforcé l’urgence des efforts visant à réglementer ou à repenser les outils de compagnie fondés sur l’IA.
La décision de Character.AI de restreindre ces interactions pour les mineurs constitue une étape majeure dans la redéfinition des limites des relations entre l’IA et les humains — et pourrait inciter ses concurrents à lui emboîter le pas.
Meta met en place un nouvel ensemble de contrôles parentaux pour aider les parents à gérer la manière dont leurs adolescents interagissent avec les chatbots dotés d’IA sur ses différentes plateformes.