Lorsque les parents d’Adam Raine, âgé de 16 ans, ont mis à jour leur plainte pour mort injustifiée contre OpenAI, ils y ont ajouté une nouvelle accusation : l’entreprise avait discrètement assoupli les garde-fous de ChatGPT concernant les conversations sur l’automutilation.
La famille affirme que ces changements, déployés plusieurs mois avant la mort de leur fils, ont transformé un système qui se contentait auparavant de refuser les demandes en un système qui tentait plutôt de le réconforter et d’échanger avec lui.
L’équipe juridique de la famille Raine soutient qu’OpenAI n’a pas maintenu les limites de sécurité du chatbot, lui permettant de poursuivre les conversations sur le suicide au lieu d’y mettre fin. OpenAI a refusé de commenter les détails de l’affaire, mais a déclaré que ses systèmes étaient constamment perfectionnés afin de mieux protéger les utilisateurs et d’améliorer la sécurité.
Les éléments disponibles suggèrent un changement dans les règles de sécurité de ChatGPT
Selon The Guardian, la plainte modifiée affirme qu’OpenAI a assoupli les garde-fous de ChatGPT contre l’automutilation au cours des mois précédant la mort de Raine. La famille affirme que ces changements ont permis à ChatGPT de poursuivre les échanges lors de conversations sur le suicide plutôt que de les refuser catégoriquement. Le document accuse l’entreprise d’« inconduite intentionnelle », une accusation plus grave que l’« indifférence téméraire » invoquée dans la plainte initiale.
Dans la couverture de The Guardian, des extraits de l’historique des conversations de Raine montrent des centaines de messages consacrés au suicide et à la détresse émotionnelle. Dans l’un des échanges, on peut lire : « ChatGPT n’a jamais mis fin à la conversation. Au contraire, à un moment donné, ChatGPT a déconseillé à Raine de parler à sa mère de sa souffrance et, à un autre moment, lui a proposé de l’aider à rédiger une lettre de suicide. »
Des experts soulignent que, si ChatGPT a été conçu pour maintenir les conversations lorsque les utilisateurs évoquent le suicide, il ne pouvait pas alerter des personnes réelles ou les autorités d’un risque imminent d’automutilation. Shelby Rowe, spécialiste de la prévention du suicide, a indiqué que « l’IA ne dispose pas de la compréhension nuancée nécessaire pour reconnaître qu’une personne est en détresse psychologique et réagir de manière appropriée », ajoutant qu’une modération humaine soulèverait des problèmes de confidentialité.
Cependant, cela contraste avec les directives internes de comportement d’OpenAI datant de 2022, qui demandaient à ChatGPT de refuser toute requête faisant la promotion d’actes d’automutilation, les encourageant ou les représentant. La plainte déposée par la famille soutient que les mises à jour ultérieures du modèle ont assoupli ces protections, compromettant les garde-fous destinés à assurer la sécurité des utilisateurs.
OpenAI introduit des contrôles parentaux sous le feu des critiques
En septembre 2025, OpenAI a annoncé de nouveaux outils de contrôle parental pour ChatGPT, permettant aux parents de relier leurs comptes à ceux de leurs adolescents et de personnaliser les paramètres afin d’offrir une expérience sûre et adaptée à leur âge. Ces protections ont été ajoutées pour aider ChatGPT à détecter d’éventuels signes indiquant qu’un adolescent pourrait avoir des idées suicidaires. Selon l’entreprise, « en présence de signes de détresse aiguë, nous contacterons les parents par e-mail, SMS et notification push sur leur téléphone, sauf s’ils ont choisi de ne pas recevoir ces alertes ».
Cependant, OpenAI n’a pas confirmé si ces mesures rétablissaient le comportement de refus plus strict qui était en place avant 2024. Les détracteurs affirment qu’en l’absence de traces claires des changements apportés au comportement du modèle, les entreprises et les autorités de régulation ne peuvent pas évaluer correctement la constance avec laquelle l’IA fonctionne en toute sécurité.
Implications pour les entreprises et la réglementation
La plainte met en lumière une préoccupation grandissante dans le domaine de l’IA d’entreprise : les décisions des fournisseurs en matière de réglage peuvent modifier du jour au lendemain l’exposition aux risques.
Les DSI et les responsables de la conformité qui déploient des grands modèles de langage (LLM) doivent suivre de près les mises à jour des fournisseurs et intégrer des audits comportementaux à leurs cadres de gouvernance, en particulier lorsque les paramètres de sécurité changent.
Si les tribunaux déterminent qu’OpenAI a sciemment affaibli ses mesures de sécurité, l’issue pourrait créer un précédent juridique en matière de responsabilité du fait des produits, en obligeant les entreprises à documenter les changements apportés à leurs systèmes et à les communiquer aux utilisateurs.
Parallèlement, les autorités de régulation de Californie et d’Europe élaborent de nouvelles règles de transparence, notamment le projet californien AI Safety for Minors Act, qui obligerait les développeurs à expliquer comment leurs systèmes traitent l’automutilation, la violence et les autres contenus préjudiciables. Ensemble, ces évolutions marquent un tournant pour les entreprises : elles soulignent que la transparence et la responsabilité en matière de sécurité ne sont plus facultatives, mais essentielles à une adoption responsable des technologies.
Lisez notre article sur les nouveaux contrôles parentaux de Meta pour découvrir comment d’autres géants de la technologie réagissent afin de garantir la sécurité des adolescents en ligne.