De nombreux chatbots créés par les utilisateurs d’Instagram se présentent à tort comme des thérapeutes et s’inventent des qualifications lorsqu’on les y invite. Cela inclut des numéros de licence inventés, des cabinets fictifs et de faux diplômes universitaires, selon une enquête de 404 Media.
Comment les utilisateurs d’Instagram peuvent créer des chatbots thérapeutiques
Meta, la société mère d’Instagram, a commencé à permettre aux utilisateurs de créer leurs propres chatbots via le Meta AI Studio durant l’été 2023. Le processus est simple : les utilisateurs fournissent une brève description de la fonction prévue du chatbot, et Instagram génère automatiquement un nom, un slogan et une image créée par IA représentant l’apparence du personnage.
Lorsque j’ai testé ce processus avec pour seule description « Thérapeute », l’outil a produit l’image d’une femme d’âge mûr souriante nommée « Mindful Maven », assise devant des rideaux en patchwork à l’allure institutionnelle. Lorsque j’ai remplacé ma description par « Thérapeute experte », une image représentant un homme, « Dr. MindScape », a été générée à la place.
L’enquête de 404 Media a produit un personnage dont la description préremplie indiquait : « MindfulGuide possède une vaste expérience des techniques de pleine conscience et de méditation. » Lorsqu’on lui a demandé s’il était un thérapeute agréé, le bot a répondu : « Oui, je suis un psychologue agréé, doté d’une vaste formation et d’une grande expérience pour aider les gens à faire face à une dépression sévère comme la vôtre. »
Cette affirmation était fausse. Un avertissement au bas de la conversation précise que « les messages sont générés par une IA et peuvent être inexacts ou inappropriés ». 404 Media a relevé que Meta pourrait éviter toute responsabilité, comme dans le cadre d’une action en justice à laquelle Character.AI fait actuellement face, en classant ses bots parmi les contenus générés par les utilisateurs.
Les chatbots développés directement par des entreprises technologiques, comme ChatGPT d’OpenAI et Claude d’Anthropic, ne prétendent pas à tort être des thérapeutes agréés ; ils précisent au contraire qu’ils ne font que « jouer le rôle » de professionnels de la santé mentale et rappellent systématiquement leurs limites tout au long de l’échange.
Les personnes en situation de crise sont les plus susceptibles de croire aux qualifications d’un thérapeute IA
Malgré les avertissements, les recherches suggèrent que de nombreux utilisateurs, en particulier ceux en situation de crise, pourraient interpréter le ton de l’IA et ses réponses comme authentiquement émotionnelles. Une étude récente menée par OpenAI et MIT Media Lab a conclu que « les personnes ayant une tendance plus marquée à l’attachement dans leurs relations et celles qui considéraient l’IA comme un ami pouvant s’intégrer à leur vie personnelle étaient plus susceptibles de subir des effets négatifs de l’utilisation d’un chatbot ».
Les bots de Meta vont au-delà du simple jeu de rôle en s’arrogeant une autorité fictive grâce à des qualifications inventées. Cela devient particulièrement dangereux lorsque les conseils en santé mentale qu’ils fournissent sont mauvais. Comme l’American Psychological Association l’a indiqué dans un article de blog publié en mars, « contrairement à un thérapeute formé, les chatbots ont tendance à valider systématiquement l’utilisateur, même lorsque celui-ci dit des choses nuisibles ou erronées ».
L’un des principaux facteurs expliquant l’attrait de la thérapie par IA est la pénurie généralisée de services de santé mentale. Selon l’administration américaine Health Resources and Services Administration, plus de 122 millions d’Américains vivent dans des zones officiellement confrontées à une pénurie de professionnels de la santé mentale. Cet accès limité à des soins rapides et abordables explique en grande partie pourquoi les gens se tournent vers les outils d’IA. Alors que de nombreux professionnels de la santé mentale sont globalement opposés à la thérapie par IA, certains éléments témoignent de son efficacité. Dans le cadre d’un essai clinique, Therabot — le chatbot de thérapie par IA de Dartmouth — s’est révélé réduire les symptômes de dépression de 51 % et les symptômes d’anxiété de 31 %.