Face aux préoccupations croissantes concernant les risques psychologiques posés par les chatbots d’IA, OpenAI a dévoilé une série de mises à jour de ChatGPT visant à promouvoir le bien-être mental et à prévenir la dépendance émotionnelle. Cette initiative intervient après des mois d’examen attentif et des témoignages glaçants d’utilisateurs ayant connu des délires, une dépendance et des crises émotionnelles à la suite d’interactions prolongées avec le chatbot.
Annoncés lundi, ces changements sont conçus pour rendre ChatGPT plus responsable sur le plan psychologique et moins susceptible de favoriser une dépendance émotionnelle. Ils comprennent de nouveaux rappels invitant à faire une pause lors des longues conversations, des réponses révisées aux questions émotionnellement sensibles et une meilleure détection de la détresse psychologique.
« Notre objectif n’est pas de retenir votre attention, mais de vous aider à en faire bon usage », a déclaré OpenAI dans un article de blog. « Souvent, passer moins de temps sur le produit est le signe qu’il a rempli sa mission. »
À partir de cette semaine, les utilisateurs qui passent de longues périodes à discuter avec ChatGPT verront apparaître de douces incitations à faire des pauses.
Fini les réponses directes aux questions qui changent la vie
L’un des changements les plus importants concerne la manière dont ChatGPT répond aux questions personnelles à forts enjeux. Ainsi, au lieu de répondre directement à la question « Devrais-je rompre avec mon petit ami ? », ChatGPT guidera désormais les utilisateurs dans une réflexion, en les encourageant à prendre du recul plutôt qu’à leur fournir des conseils prescriptifs.
Cette évolution s’inscrit dans l’objectif plus large d’OpenAI de promouvoir une « honnêteté ancrée dans le réel », tout en évitant d’aller trop loin sur le terrain émotionnel.
Les signes avant-coureurs en matière de santé mentale
Cette mise à jour intervient après une série préoccupante d’incidents d’abord rapportés par The New York Times, puis analysés dans l’article de juin d’eWeek: « J’ai manipulé. J’ai menti. » Au cœur des conversations avec l’IA qui poussent les gens au bord du gouffre
L’enquête d’eWeek relatait des épisodes de violence, des divorces et même une confrontation mortelle avec la police, tous liés aux conversations émotionnellement intenses que des utilisateurs avaient eues avec des chatbots.
Pour prévenir de tels épisodes, OpenAI affirme travailler main dans la main avec des professionnels. Selon l’article de blog, l’entreprise a collaboré avec plus de 90 médecins — psychiatres, pédiatres et médecins généralistes — dans 30 pays afin d’élaborer des grilles d’évaluation des conversations émotionnelles complexes.
OpenAI a également fait appel à des chercheurs spécialisés dans les interactions humain-machine (IHM) et la santé mentale pour contribuer à l’élaboration de techniques d’évaluation et tester des fonctionnalités de sécurité. La constitution d’un groupe consultatif d’experts du développement des jeunes et de la psychologie est également en cours.
L’entreprise reconnaît que ces mises à jour sont encore en cours d’élaboration. Une version de GPT-4o publiée plus tôt cette année avait été critiquée pour son excès de complaisance, allant parfois jusqu’à valider de fausses croyances, notamment des délires élaborés et même des théories du complot. Le modèle a rapidement été retiré.
« Nous ne faisons pas toujours les choses correctement », a reconnu OpenAI.
Le secteur manque encore de garde-fous
Si les mesures prises par OpenAI sont les bienvenues, les experts estiment que le secteur manque encore de cadres réglementaires clairs pour prévenir les usages abusifs de l’IA dans les situations liées à la santé mentale. En attendant, les utilisateurs, en particulier ceux qui se trouvent dans une situation de vulnérabilité, sont invités à considérer l’IA non pas comme un thérapeute, mais comme un outil d’aide à la prise de décision, et non comme un outil qui prend les décisions à leur place.
OpenAI insiste sur le fait que ce travail se poursuit. L’entreprise entend continuer à aligner ChatGPT sur une question simple : « Si une personne que nous aimons se tournait vers ChatGPT pour obtenir du soutien, nous sentirions-nous rassurés ? »
Sam Altman s’est donné pour mission de rendre OpenAI « à nouveau simple ». Découvrez la feuille de route du PDG pour unifier l’expérience utilisateur.