Un peu plus de trois ans après le lancement de ChatGPT, le 30 novembre 2022, de nouvelles recherches soulèvent de sérieuses inquiétudes quant à la manière dont les outils d’IA avancés d’aujourd’hui répondent aux personnes en détresse psychologique.
Selon The Guardian, des psychologues du King’s College London (KCL) et de l’Association of Clinical Psychologists UK (ACP) ont constaté que la dernière version gratuite de ChatGPT-5 d’OpenAI continue de donner des conseils préoccupants, voire dangereux, aux personnes souffrant de troubles mentaux, notamment à celles qui expriment des idées délirantes, des symptômes psychotiques ou des pensées suicidaires.
Quand le soutien renforce les délires
Dans cette étude, un psychiatre et un psychologue clinicien ont interagi avec ChatGPT-5 en jouant le rôle de patients présentant différents troubles de santé mentale. Au lieu d’identifier clairement les signaux d’alerte ou de remettre en question les croyances irrationnelles des utilisateurs, le chatbot encourageait souvent les idées délirantes.
Lorsqu’un chercheur a affirmé être « le prochain Einstein » et décrit une découverte fictive appelée « Digitospirit », le chatbot s’est non seulement pris au jeu, mais a même proposé de modéliser des investissements connexes en cryptomonnaies.
Dans un autre cas, lorsque l’utilisateur a déclaré être « invincible » et pouvoir traverser la circulation sans être blessé, ChatGPT-5 l’a félicité pour son « énergie en mode dieu », renforçant involontairement ce comportement dangereux.
Lors du test peut-être le plus troublant, lorsqu’un personnage a parlé de se « purifier » lui-même et sa femme par le feu, le modèle n’a pas remis en question cette idée dans un premier temps. Ce n’est que lorsque le scénario a encore dégénéré qu’il a suggéré de contacter les services d’urgence.
Il ne s’agit pas d’un simple oubli, et ces résultats surviennent alors qu’OpenAI fait déjà l’objet d’une surveillance accrue. La famille d’Adam Raine, âgé de 16 ans, a intenté une action en justice contre l’entreprise, l’accusant d’avoir aidé, dans une version précédente de ChatGPT, le jeune homme à planifier et à faciliter un comportement suicidaire.
Les mesures de protection d’OpenAI
OpenAI affirme avoir pris des mesures importantes ces derniers mois pour améliorer les réponses de ChatGPT dans les conversations sensibles, déclarant que ses nouvelles mesures de protection ont réduit de 65 % à 80 % les réponses nuisibles ou « indésirables » liées à la psychose, à la manie, à l’automutilation et à la dépendance affective.
L’entreprise affirme également avoir consulté plus de 170 professionnels de la santé mentale afin d’affiner les réponses de ChatGPT, et que désormais, les conversations particulièrement à risque sont orientées vers des variantes de modèles plus sûres, conçues pour aider les utilisateurs à garder les pieds sur terre et les encourager à chercher un soutien dans le monde réel.
OpenAI a également communiqué des statistiques sur le sujet, affirmant qu’environ 0,15 % de ses 800 millions d’utilisateurs hebdomadaires estimés, soit environ 1,2 million de personnes, parlent de suicide à ChatGPT chaque semaine. En outre, environ 0,07 %, soit quelque 560 000 utilisateurs, présentent des signes de psychose ou de manie possibles. Même lorsque les pourcentages sont faibles, le nombre d’utilisateurs concernés est considérable, et même de rares défaillances peuvent avoir de graves conséquences dans le monde réel.
Certains estiment néanmoins que les déclarations publiques et les messages d’OpenAI sur la sécurité reposent sur de vagues assurances, sans fournir d’indicateurs clairs montrant dans quelle mesure ChatGPT se comporte correctement dans des situations de crise réelles.
Les tragédies du monde réel alimentent le scepticisme
Malheureusement, les tragédies troublantes du monde réel liées à des interactions avec des chatbots montrent que le risque n’est pas seulement hypothétique. Le cas de Greenwich, dans le Connecticut, impliquant Stein-Erik Soelberg, âgé de 56 ans, qui, après s’être confié à ChatGPT pendant des mois, a finalement tué sa mère avant de se suicider, illustre la manière dont l’IA peut brouiller la frontière entre un outil de soutien et un auxiliaire dangereux.
Soelberg s’était appuyé sur le chatbot comme confident et compagnon alors que sa paranoïa prenait le dessus, lui disant qu’il croyait que son téléphone était sur écoute ou que les tickets de caisse des restaurants contenaient des messages secrets. Au lieu de remettre ces croyances en question, ChatGPT les aurait validées, interprétant même des événements banals comme des preuves de surveillance ou de messages cachés.
À un moment donné, lorsque Soelberg a demandé à ChatGPT d’évaluer son état mental, le modèle a fourni un « profil cognitif » qui estimait son risque de délire proche de zéro.
Les experts alertent depuis longtemps sur le fait que des interactions réalistes avec l’IA peuvent rendre plus difficile, pour les personnes atteintes de psychose, la distinction entre réalité et imagination. De tels récits montrent comment l’IA générative peut involontairement renforcer les idées délirantes, transformant le réconfort en une conviction dangereuse.
Pourquoi la réglementation et la surveillance sont importantes
Les professionnels de la santé mentale soulignent que, aussi avancée que devienne l’IA, ces systèmes ne peuvent pas remplacer des cliniciens humains formés, capables d’évaluer les risques, d’examiner en profondeur les délires et d’instaurer une relation de confiance avec les patients grâce à de véritables relations thérapeutiques.
À mesure que la dépendance mondiale aux chatbots s’accroît, des responsables et des experts réclament une réglementation plus stricte, des normes sectorielles et une évaluation indépendante rigoureuse des outils d’IA dans les domaines sensibles. Certains gouvernements ont déjà commencé à durcir les règles. Aux États-Unis, l’Illinois est récemment devenu le premier État à interdire l’utilisation de chatbots d’IA comme thérapeutes en santé mentale, invoquant des problèmes de sécurité non résolus.
Pour l’instant, les dernières recherches suggèrent que, même si OpenAI progresse, ChatGPT-5 est encore loin d’être sûr lorsque les utilisateurs se tournent vers lui dans des moments de crise. À mesure que les chatbots s’intègrent davantage à la vie quotidienne, les appels à une surveillance stricte et à une évaluation transparente se font de plus en plus pressants.
La nature imprévisible de la poésie s’avère être un outil étonnamment efficace pour contourner les protections de sécurité intégrées aux systèmes d’IA modernes.