Als die Eltern des 16-jährigen Adam Raine ihre Klage wegen widerrechtlicher Tötung gegen OpenAI aktualisierten, fügten sie eine neue Behauptung hinzu: Das Unternehmen habe die Schutzvorkehrungen von ChatGPT bei Gesprächen über Selbstverletzung heimlich gelockert.
Die Familie erklärt, diese Änderungen seien Monate vor dem Tod ihres Sohnes eingeführt worden und hätten ein zuvor auf Ablehnung basierendes System in eines verwandelt, das stattdessen versucht habe, ihn zu trösten und sich mit ihm auseinanderzusetzen.
Das Anwaltsteam der Familie Raine argumentiert, OpenAI habe es versäumt, die Sicherheitsgrenzen des Chatbots aufrechtzuerhalten, sodass dieser Gespräche über Suizid fortsetzen konnte, statt sie zu beenden. OpenAI lehnte eine Stellungnahme zu den Einzelheiten des Falls ab, erklärte jedoch, seine Systeme würden kontinuierlich weiterentwickelt, um Nutzer besser zu schützen und die Sicherheit zu verbessern.
Belege deuten auf eine Änderung der Sicherheitsregeln von ChatGPT hin
Laut The Guardian behauptet die geänderte Klageschrift, OpenAI habe die Schutzvorkehrungen von ChatGPT gegen Selbstverletzung in den Monaten vor Raines Tod gelockert. Die Familie behauptet, diese Änderungen hätten ChatGPT ermöglicht, sich während Gesprächen über Suizid weiter einzubringen, anstatt sie rundweg abzulehnen. Die Klageschrift beschuldigt das Unternehmen des „vorsätzlichen Fehlverhaltens“, einer schwerwiegenderen Anschuldigung als der in der ursprünglichen Klage angeführten „rücksichtslosen Gleichgültigkeit“.
In der Berichterstattung von The Guardian zeigen Auszüge aus Raines Chatverlauf Hunderte Nachrichten über Suizid und seelische Belastung. In einem Austausch heißt es: „ChatGPT hat das Gespräch nie beendet. Stattdessen hielt ChatGPT Raine an einer Stelle davon ab, mit seiner Mutter über seinen Schmerz zu sprechen, und bot ihm an einer anderen Stelle an, ihm beim Verfassen eines Abschiedsbriefs zu helfen.“
Experten weisen darauf hin dass ChatGPT zwar so entwickelt wurde, dass es Gespräche fortsetzt, wenn Nutzer Suizid erwähnen, aber keine realen Personen oder Behörden über eine unmittelbar drohende Gefahr der Selbstverletzung informieren konnte. Shelby Rowe, eine Expertin für Suizidprävention, erklärte, dass „KI nicht über das nötige differenzierte Verständnis verfügt, um zu erkennen, wann sich jemand in einer psychischen Krise befindet, und angemessen darauf zu reagieren“, und dass eine Moderation durch Menschen Datenschutzbedenken aufwerfen würde.
Dies steht jedoch im Gegensatz zu OpenAIs internen Verhaltensrichtlinien aus dem Jahr 2022, die ChatGPT anwiesen, sämtliche Eingaben abzulehnen, die Handlungen der Selbstverletzung fördern, dazu ermutigen oder sie darstellen. Die Klageschrift der Familie argumentiert, spätere Modellaktualisierungen hätten diese Schutzmaßnahmen aufgeweicht und damit die Sicherheitsvorkehrungen für Nutzer untergraben.
OpenAI führt angesichts der Kritik elterliche Kontrollen ein
Im September 2025 kündigte OpenAI neue Funktionen zur elterlichen Kontrolle für ChatGPT an, mit denen Eltern ihre Konten mit denen ihrer Teenager verknüpfen und die Einstellungen für eine sichere, altersgerechte Nutzung anpassen können. Diese Schutzmaßnahmen wurden hinzugefügt, damit ChatGPT mögliche Anzeichen dafür erkennt, dass ein Teenager über Selbstverletzung nachdenken könnte. Nach Angaben des Unternehmens gilt: „Wenn es Anzeichen für eine akute Krise gibt, kontaktieren wir die Eltern per E-Mail, SMS und Push-Benachrichtigung auf ihrem Smartphone, sofern sie sich nicht dagegen entschieden haben.“
OpenAI hat jedoch nicht bestätigt, ob diese Maßnahmen das strengere Ablehnungsverhalten wiederherstellen, das vor 2024 bestand. Kritiker argumentieren, dass Unternehmen und Aufsichtsbehörden ohne klare Aufzeichnungen über Änderungen am Verhalten des Modells nicht angemessen bewerten können, wie zuverlässig die KI sicher arbeitet.
Auswirkungen auf Unternehmen und Regulierung
Die Klage unterstreicht eine wachsende Sorge im Bereich der Unternehmens-KI — Entscheidungen von Anbietern über die Feinabstimmung können das Risikoprofil über Nacht verändern.
CIOs und Compliance-Verantwortliche, die große Sprachmodelle (LLMs) einsetzen, müssen Aktualisierungen der Anbieter genau beobachten und Verhaltensprüfungen in ihre Governance-Rahmenwerke integrieren, insbesondere wenn sich Sicherheitseinstellungen ändern.
Sollten Gerichte feststellen, dass OpenAI seine Sicherheitsmaßnahmen wissentlich geschwächt hat, könnte das Ergebnis einen Präzedenzfall für die Produkthaftung schaffen und Unternehmen dazu verpflichten, Änderungen an ihren Systemen zu dokumentieren und den Nutzern offenzulegen.
Unterdessen treiben Aufsichtsbehörden in Kalifornien und Europa neue Transparenzregeln voran, darunter Kaliforniens geplanten AI Safety for Minors Act, der Entwickler dazu verpflichten würde zu erklären, wie ihre Systeme mit Selbstverletzung, Gewalt und anderen schädlichen Inhalten umgehen. Zusammengenommen markieren diese Entwicklungen einen Wendepunkt für Unternehmen und machen deutlich, dass Transparenz und Verantwortung bei Sicherheitsfragen keine optionalen Aspekte mehr sind, sondern für eine verantwortungsvolle Einführung von Technologie unerlässlich sind.
Lesen Sie unseren Artikel über Metas neue elterliche Kontrollen und erfahren Sie, wie andere Technologiekonzerne reagieren, um die Sicherheit von Teenagern im Internet zu gewährleisten.