OpenAI a annoncé de nouvelles mesures de protection dans ChatGPT afin d’améliorer la manière dont le système répond aux utilisateurs en situation de détresse psychologique.
Dans un billet intitulé « Strengthening ChatGPT’s Responses in Sensitive Conversations », l’entreprise a annoncé de nouvelles améliorations destinées à réduire de 65 % à 80 % les « réponses indésirables » dans des situations sensibles telles que la psychose, la manie, l’automutilation et la dépendance affective à l’IA.
OpenAI affirme avoir travaillé avec plus de 170 psychiatres et psychologues pour affiner la manière dont ChatGPT prend en charge les personnes en crise.
Le billet souligne que le système encourage désormais les utilisateurs à renouer avec leurs relations dans le monde réel et à recourir à un accompagnement professionnel, tout en les dissuadant de développer une dépendance malsaine au chatbot lui-même.
Une ampleur massive et une lourde responsabilité
OpenAI estime dans une première analyse qu’environ 0,15 % de ses 800 millions d’utilisateurs actifs hebdomadaires, soit environ 1,2 million de personnes, parlent de suicide avec ChatGPT au cours d’une semaine donnée. 0,07 % supplémentaires, soit environ 560 000 utilisateurs, présentent des signes de psychose ou de manie possibles.
Bien qu’OpenAI qualifie ces conversations d’« extrêmement rares », à cette échelle, même un faible pourcentage représente un grand nombre de personnes qui comptent sur l’IA pour obtenir un soutien émotionnel.
L’entreprise a également indiqué qu’elle redirigeait certaines conversations à haut risque vers des modèles configurés pour offrir davantage de sécurité. Dans l’un des exemples fournis, ChatGPT rassure un utilisateur en détresse en lui affirmant qu’« aucun avion ni aucune force extérieure ne peut voler ou insérer vos pensées », puis lui propose des techniques d’ancrage et des ressources d’aide en cas de crise.
L’image renvoyée et les défis persistants
Même si ces changements peuvent réduire les préjudices, le ton adopté par OpenAI fait sourciller. Le billet de blog ressemble à un texte promotionnel soigneusement formulé, truffé de jargon d’entreprise (notamment « taxonomies » et « comportements souhaités »), tout en offrant une transparence minimale sur la manière dont l’empathie de ChatGPT est entraînée, mesurée ou contrôlée.
OpenAI a reconnu que ses définitions de la « détresse » continuaient d’évoluer et qu’elle prévoyait d’affiner ses taxonomies et ses évaluations dans les futures versions de modèles.
OpenAI a déclaré que ces mises à jour s’inscrivaient dans un effort visant à garantir que ChatGPT « soutient et respecte les relations des utilisateurs dans le monde réel », tout en assurant leur sécurité dans les situations graves.
Les sceptiques estiment toutefois que la rhétorique humaniste de l’entreprise sert également à gérer son image de marque, et se demandent si ce changement relève d’une innovation éthique ou d’une réassurance savamment mise en scène.
Le PDG d’OpenAI, Sam Altman, franchit une nouvelle étape dans le domaine de l’IA… cette fois directement dans le cerveau humain.