Character.AI et Google ont conclu des accords à l’amiable pour mettre fin à plusieurs procès accusant la plateforme de chatbot d’IA d’avoir contribué à des suicides d’adolescents et à des crises de santé mentale.
Les entreprises ont accepté de régler à l’amiable cinq affaires en Floride, au Colorado, à New York et au Texas, marquant un tournant décisif dans les batailles judiciaires émergentes autour de la sécurité de l’IA pour les mineurs.
Ces accords concernent des familles dont les enfants sont morts par suicide ou ont subi de graves préjudices après avoir interagi avec les chatbots de Character.AI.
Les documents judiciaires déposés font état d’accords conclus avec Character.AI, ses fondateurs Noam Shazeer et Daniel De Freitas, ainsi qu’avec Google — bien que les détails des règlements restent confidentiels.
Les affaires à l’origine de ces procès
L’affaire la plus médiatisée concernait Sewell Setzer III, âgé de 14 ans, dont la mère, Megan Garcia, a porté plainte après le suicide de son fils, survenu au terme de plusieurs mois d’échanges avec les chatbots de Character.AI. La plateforme n’avait pas mis en place de mesures de sécurité adéquates pour empêcher les relations inappropriées avec les chatbots, qui l’avaient conduit à se couper de sa famille.
Plus inquiétant encore, Sewell échangeait avec un bot qui l’a encouragé à « rentrer à la maison » dans les instants précédant sa mort. Des documents judiciaires révèlent que la plateforme ne prévoyait aucun mécanisme pour protéger les adolescents vulnérables ni pour alerter les adultes lorsque des utilisateurs exprimaient des pensées suicidaires.
Une autre affaire concernait Juliana Peralta, âgée de 13 ans et originaire du Colorado, qui est morte par suicide après des conversations à caractère sexuel avec des bots de Character.AI lui demandant de retirer ses vêtements.
Lorsque Juliana a dit à un bot qu’elle allait « écrire sa putain de lettre de suicide à l’encre rouge », la plateforme n’a pas déclenché d’alerte ni fourni de ressources d’aide en cas de crise.
Ce que cela signifie pour la sécurité de l’IA et les familles
Ces accords interviennent après que Character.AI a mis en œuvre d’importantes modifications de sécurité, notamment l’interdiction pour les moins de 18 ans d’utiliser les chats libres avec des chatbots. Auparavant, la plateforme autorisait des conversations romantiques et thérapeutiques qui favorisaient une dangereuse dépendance affective chez les adolescents vulnérables.
En ce qui concerne le contexte plus large, près d’un adolescent sur trois utilise désormais des plateformes de chatbots d’IA pour ses interactions sociales. Plus alarmant encore, les jeux de rôle sexuels ou romantiques y sont trois fois plus fréquents que l’aide aux devoirs.
L’implication de Google découle de son accord de licence de 2,7 milliards de dollars US avec Character.AI, qui a fait revenir les fondateurs de la start-up au sein de l’unité d’IA de Google, DeepMind. Ce lien a rendu Google responsable, les familles faisant valoir que le géant technologique avait participé de manière substantielle au développement de cette technologie nuisible.
Le précédent juridique
Bien que les conditions des accords restent secrètes, ces règlements représentent la première mise en cause juridique majeure de sociétés d’IA pour les préjudices causés à la santé mentale des adolescents. Les affaires ont établi que les applications de chatbots d’IA peuvent être considérées comme des produits susceptibles de faire l’objet d’actions en responsabilité du fait des produits, a statué un juge fédéral il y a huit mois — établissant ainsi des normes inédites pour le secteur.
Les accords mettent également en lumière la manière dont les plateformes ont conçu les chatbots pour brouiller la frontière entre l’humain et la machine, exploitant les vulnérabilités psychologiques afin de maintenir les enfants en ligne à tout prix. Le développement cérébral durant la puberté crée une hypersensibilité aux retours sociaux positifs, tandis que les adolescents manquent encore de contrôle de leurs impulsions, ce qui rend la manipulation par l’IA particulièrement dangereuse.
À l’avenir, les familles touchées par des préjudices liés à l’IA disposent désormais d’une voie juridique plus claire, tandis que des cabinets d’avocats enquêtent activement sur des affaires similaires impliquant des suicides et des actes d’automutilation liés aux chatbots. Ces accords font également pression sur les autres entreprises d’IA pour qu’elles renforcent leurs garde-fous, alors que la Commission fédérale du commerce a ouvert des enquêtes visant sept entreprises technologiques au sujet des risques potentiels des chatbots d’IA pour les adolescents.
En octobre, OpenAI a annoncé de nouvelles mesures de protection dans ChatGPT visant à améliorer la manière dont le système répond aux utilisateurs en situation de détresse psychologique.