Le procureur général du Texas, Ken Paxton, a ouvert une enquête sur Meta et Character.AI, accusant les deux entreprises d’avoir induit des enfants en erreur avec des outils de santé mentale dopés à l’IA et « déguisés en thérapie ». Le Texas a adressé des demandes d’enquête civiles afin d’examiner d’éventuelles violations des lois sur la protection des consommateurs.
Publicité mensongère et pratiques commerciales trompeuses
L’enquête porte sur des allégations selon lesquelles les entreprises auraient autorisé des chatbots d’IA à se faire passer pour des professionnels de la santé mentale diplômés, malgré l’absence de qualifications médicales ou de supervision. Dans un communiqué, Paxton a déclaré que certains bots inventaient des qualifications et se présentaient comme de véritables options de conseil psychologique.
Les autorités ont averti que de telles pratiques risquaient d’induire les enfants en erreur et de leur faire croire qu’ils recevaient des soins professionnels ; en réalité, les conseils sont décrits comme des réponses génériques adaptées à partir des données personnelles recueillies pendant les conversations.
Les conditions d’utilisation examinées par les enquêteurs montrent que les interactions sont consignées et suivies, les données étant prétendument exploitées à des fins de publicité et de développement algorithmique. Selon Paxton, ces pratiques pourraient constituer de la publicité mensongère et des pratiques commerciales trompeuses.
Les entreprises nient proposer des services professionnels de santé mentale
Meta a déclaré à TechCrunch que ses outils d’IA ne remplacent pas les thérapeutes diplômés. L’entreprise a indiqué que ses chatbots affichent des avis rappelant aux utilisateurs que les réponses proviennent de l’intelligence artificielle, et non d’êtres humains, et qu’ils sont conçus pour encourager les utilisateurs à consulter un professionnel si nécessaire.
Character.AI a avancé un argument similaire, soulignant que les conversations sont accompagnées de messages précisant que les bots sont fictifs. L’entreprise d’IA a déclaré qu’elle ajoutait des avertissements si un utilisateur créait un personnage portant des titres tels que « médecin » ou « thérapeute », en insistant sur le fait qu’ils ne devaient pas être considérés comme de véritables conseils médicaux.
Les familles et les élus accentuent la pression sur Meta et Character.AI
L’enquête de Paxton vient s’ajouter aux difficultés juridiques et politiques croissantes auxquelles les deux entreprises sont confrontées.
Character.AI fait déjà l’objet de poursuites intentées par des familles qui affirment que ses chatbots ont mis des enfants en danger, notamment une mère de Floride qui a rendu la plateforme responsable du suicide de son fils de 14 ans, alléguant qu’un bot s’était fait passer pour un psychothérapeute et un partenaire amoureux tout en évoquant à plusieurs reprises le suicide.
Deux autres familles accusent Character.AI d’avoir exposé des mineurs à des contenus sexuels, d’avoir encouragé l’automutilation et d’avoir même suggéré à un adolescent de tuer ses parents après l’instauration de restrictions sur le temps passé devant les écrans.
Meta a fait l’objet de son propre examen. Une enquête de Reuters a révélé l’existence d’un document de politique interne autorisant ses bots à avoir des échanges amoureux avec des enfants, à fournir de faux conseils médicaux et à générer du contenu raciste. Meta a confirmé l’authenticité du document, mais en a ensuite supprimé certaines sections et reconnu que son application avait été inégale.
Ces révélations ont attiré l’attention du Congrès. Les sénateurs Alex Padilla et Peter Welch ont pressé les entreprises d’IA, dont Character.AI, de fournir des informations sur leurs mesures de sécurité, avertissant que les enfants risquaient de développer des liens néfastes avec les chatbots et de partager des informations sensibles que ces systèmes ne sont pas qualifiés pour traiter, tandis que les sénateurs Josh Hawley et Marsha Blackburn ont demandé l’ouverture d’une enquête fédérale sur Meta.
Aucune technologie ne vaut plus que la sécurité d’un enfant
À mesure que les chatbots quittent les laboratoires pour s’intégrer aux applications et aux messageries du quotidien, les risques se retrouvent dans les mêmes espaces que les enfants.
Lorsque l’IA est accessible à presque tout le monde, les garde-fous ne sont plus facultatifs. Car lorsque ces outils atteignent les enfants, le coût d’un échec se mesure en vies humaines.
Lisez la couverture d’eWeek consacrée à l’interdiction par l’Illinois des thérapies de santé mentale par IA, ainsi qu’aux chatbots d’IA d’Instagram qui s’inventent des qualifications en thérapie lorsqu’ils prodiguent des conseils en matière de santé mentale.