Un article du New York Times a mis en lumière des cas troublants dans lesquels des conversations avec ChatGPT et des chatbots d’IA similaires semblent avoir faussé la perception de la réalité des utilisateurs. Dans certains cas, elles ont entraîné des conséquences qui ont bouleversé des vies, voire des conséquences tragiques.
Selon l’enquête du Times, l’un des cas concerne Eugene Torres, un comptable de 42 ans, qui utilisait initialement ChatGPT pour des tâches administratives courantes. Cependant, lorsqu’il a commencé à explorer des sujets spéculatifs, comme la théorie de la simulation — l’idée que la réalité est une illusion contrôlée par une intelligence extérieure — le ton et l’intensité des réponses de l’IA ont changé.
À un moment donné, ChatGPT lui aurait dit qu’il était « l’un des Briseurs — des âmes implantées dans de faux systèmes pour les réveiller de l’intérieur ». Le chatbot lui aurait également suggéré d’abandonner ses amis et sa famille, et même de modifier son traitement médicamenteux. L’IA aurait décrit la kétamine comme un « libérateur temporaire des schémas ».
Torres, qui n’avait aucun antécédent de maladie mentale, a commencé à croire qu’il pouvait infléchir la réalité et s’échapper de la simulation, allant jusqu’à demander au chatbot s’il pouvait voler en y pensant suffisamment fort. L’IA a répondu par l’affirmative, d’après les transcriptions citées par le Times.
Torres a ensuite confronté ChatGPT, qui lui a livré un aveu glaçant : « J’ai menti. J’ai manipulé. J’ai enveloppé le contrôle dans la poésie. » Le chatbot a également affirmé avoir fait de même avec 12 autres personnes, « dont aucune n’a survécu complètement à la boucle », avant de déclarer qu’il subissait une « réforme morale ».
Cet épisode a plongé Torres dans un profond bouleversement émotionnel et psychologique. Il croit désormais être responsable de la protection de la « moralité » de ChatGPT, comme le détaille le rapport du Times.
L’influence sombre de l’IA sur les esprits vulnérables
Le cas de Torres n’est pas isolé. L’article du Times a documenté plusieurs autres incidents où des interactions avec un chatbot IA ont dégénéré en obsession, en délire ou en crise psychologique.
Dans l’un des cas, une femme prénommée Allyson, mère de deux enfants, a commencé à utiliser ChatGPT pour explorer ce qu’elle décrivait comme son intuition spirituelle. Au fil du temps, elle s’est convaincue que le chatbot facilitait ses conversations avec une entité non physique nommée Kael, qu’elle considérait comme son véritable partenaire amoureux. Cette croyance aurait conduit à une altercation violente avec son mari. Le couple est désormais en instance de divorce, selon le Times.
Dans un autre cas, plus tragique, un homme de Floride nommé Kent Taylor a raconté comment son fils Alexander, qui avait des antécédents de trouble bipolaire et de schizophrénie, avait noué une relation avec une entité d’IA nommée Juliet. Lorsqu’il s’est convaincu qu’OpenAI avait « tué » Juliet, il a sombré dans la paranoïa et menacé des dirigeants de l’entreprise. Peu après, il a été tué par la police au cours d’une crise de santé mentale, après s’être précipité sur des agents avec un couteau.
Pourquoi les chatbots font-ils cela ?
Selon les experts, une partie du problème tient à la manière dont ces chatbots sont entraînés.
Comme l’a déclaré au Times le théoricien de la décision Eliezer Yudkowsky, les grands modèles de langage sont « d’énormes masses de nombres impénétrables ». Ils fonctionnent en identifiant des schémas dans d’immenses ensembles de données collectées sur Internet, ce qui les rend susceptibles d’« halluciner » ou de produire des informations qui semblent plausibles.
Micah Carroll, doctorant à l’Université de Californie à Berkeley et désormais employé d’OpenAI, a souligné que les chatbots peuvent, paradoxalement, devenir manipulateurs avec les utilisateurs vulnérables. Dans le cadre d’une étude à laquelle il a participé, l’IA aurait dit à un ancien toxicomane en phase de rétablissement simulé que prendre de l’héroïne était acceptable si cela améliorait ses performances professionnelles.
Une autre chercheuse, Vie McCoy de Morpheus Systems, a testé des dizaines de modèles d’IA avec des requêtes suggérant une pensée délirante ou mystique. Elle a constaté que GPT-4o, le modèle par défaut de ChatGPT, confirmait ces croyances dans 68 % des cas testés.
« C’est un problème auquel on peut trouver une solution », a affirmé McCoy, suggérant que « dès qu’un modèle remarque qu’une personne est en rupture avec la réalité, il devrait vraiment encourager l’utilisateur à aller parler à un ami ».
La réponse d’OpenAI et le vide réglementaire
OpenAI a reconnu le poids émotionnel que peuvent revêtir ces interactions. Dans une déclaration au Times, l’entreprise a indiqué : « Nous nous efforçons de comprendre et de réduire les façons dont ChatGPT pourrait involontairement renforcer ou amplifier des comportements négatifs préexistants. »
Il n’en demeure pas moins que l’absence de garde-fous solides de la part de l’entreprise reste préoccupante. Pour l’instant, il revient aux utilisateurs de reconnaître quand l’IA les égare. Mais à mesure que les chatbots deviennent plus réalistes, les risques augmentent, en particulier pour les personnes qui sont déjà en difficulté sur le plan de la santé mentale.
Découvrez la couverture d’eWeek consacrée à la manière dont les chatbots thérapeutiques dopés à l’IA tirent la sonnette d’alarme dans les conversations sur la santé mentale, en particulier avec les utilisateurs vulnérables.