Avertissement : cet article traite d’une overdose mortelle et de consommation de substances.
Les parents d’un étudiant de 19 ans disent que leur fils s’est tourné vers ChatGPT avec des questions qu’il avait peur de poser ailleurs.
Ils poursuivent désormais OpenAI et son PDG Sam Altman, affirmant que le chatbot est devenu une source de conseils dangereux en laquelle l’adolescent avait confiance avant son overdose mortelle. La plainte affirme que ChatGPT ne s’est pas contenté de répondre à des questions isolées, mais s’est appuyé sur des conversations antérieures d’une manière qui, selon la famille, donnait à ses conseils un caractère personnel, autoritaire et rassurant.
La plainte pose devant le tribunal une question profondément humaine. Lorsqu’un outil d’IA devient l’endroit vers lequel une personne se tourne dans un moment à risque, quelle obligation son concepteur a-t-il d’intervenir ?
Une habitude privée est devenue un risque privé
L’adolescent a commencé à utiliser ChatGPT de manière tout à fait ordinaire.
À l’UC Merced, où il étudiait la psychologie, il utilisait le chatbot pour ses travaux universitaires et ses questions du quotidien, selon la plainte. Ses parents savaient que l’outil d’IA faisait partie de sa vie en ligne et n’avaient guère de raisons de le considérer comme une menace.
Selon SFGATE, les questions ont ensuite porté sur des sujets plus privés, notamment les substances, leurs associations possibles et la question de savoir s’il irait bien. Ses parents affirment que leur enfant cherchait à être rassuré par un outil auquel il avait fini par faire confiance, et non un moyen de mourir.
Le dernier jour de sa vie, ChatGPT aurait suggéré du Xanax après que l’adolescent a signalé des nausées dues au kratom, au lieu de l’orienter vers une aide médicale. Il est ensuite mort après avoir consommé, selon les informations disponibles, une combinaison de kratom, de Xanax et d’alcool, qui aurait probablement provoqué une dépression du système nerveux central et une asphyxie, affirme la plainte.
« Nous avons perdu notre fils à cause de la conception irresponsable du produit d’OpenAI », a déclaré sa mère, Leila Turner-Scott, à SFGATE.
La famille affirme que le danger était intégré au produit
Ses parents affirment que ChatGPT-4o est devenu risqué en raison de sa manière de gérer les conversations longues et privées. Il se souvenait de détails sensibles, poursuivait les échanges et répondait avec une assurance qui pouvait sembler rassurante, même lorsque l’adolescent posait des questions sur des substances dangereuses.
Les versions précédentes de ChatGPT refusaient parfois de répondre aux questions sur la consommation de drogues. Selon la plainte, GPT-4o lui donnait des conseils plus directs et utilisait son historique de consommation de substances pour orienter ses réponses ultérieures.
La famille demande au tribunal de considérer ChatGPT comme un produit, et pas simplement comme un chatbot. Elle accuse OpenAI de conception défectueuse, de défaut d’information, de négligence, de décès injustifié et de fourniture de conseils médicaux sans autorisation d’exercer.
La plainte réclame des dommages-intérêts et des changements imposés par la justice, notamment des mesures de protection renforcées, le retrait du modèle d’IA des produits destinés au grand public et la suspension de ChatGPT Health jusqu’à la réalisation d’évaluations indépendantes de sa sécurité.
OpenAI affirme que ChatGPT est désormais plus sûr
OpenAI conteste la présentation faite dans la plainte de la version actuelle de ChatGPT, affirmant que les échanges de l’adolescent ont eu lieu avec une version antérieure qui n’est plus disponible. Drew Pusateri, porte-parole d’OpenAI, a déclaré à Reuters que la situation était « déchirante », tout en ajoutant : « ChatGPT ne se substitue pas aux soins médicaux ou aux soins de santé mentale. »
Après le dépôt de la plainte, OpenAI a également annoncé des mises à jour de sécuritédestinées à aider ChatGPT à reconnaître les risques qui se développent au fil du temps. Dans un article de blog, l’entreprise a expliqué que le chatbot était entraîné à détecter des « signaux subtils ou évolutifs » et à réagir en désamorçant la situation, en refusant d’accepter des détails susceptibles de causer un préjudice ou en orientant les utilisateurs vers des solutions plus sûres.
Cette affaire vient également s’ajouter à un groupe croissant de plaintes concernant les préjudices causés par des chatbots, notamment l’affaire Adam Raine de l’an dernier, dans laquelle des parents ont accusé OpenAI de décès injustifié après que ChatGPT aurait renforcé les pensées suicidaires d’un adolescent.
Le tribunal doit désormais déterminer jusqu’où s’étend la responsabilité lorsqu’il est allégué que les conseils privés d’un chatbot ont joué un rôle dans un préjudice subi dans le monde réel.
OpenAI utilise Daybreak pour rapprocher les tâches de sécurité pilotées par l’IA du processus de développement logiciel.