Warnung: Dieser Artikel enthält Beschreibungen von Selbstverletzung.
OpenAI hat Jugendschutzfunktionen für ChatGPT eingeführt, darunter ein Prüfsystem, das Eltern möglicherweise benachrichtigt, wenn ihr Kind bei der Nutzung des Chatbots Gedanken an Selbstverletzung äußert.
Das neue System von ChatGPT nutzt eine automatische Erkennung, um potenziell schädliche Inhalte zu markieren, und leitet den Austausch zur Prüfung an ein Team speziell geschulter Mitarbeiter weiter. Werden Anzeichen akuter psychischer Belastung festgestellt, kann das Team die Eltern anschließend per E-Mail, SMS oder Push-Benachrichtigung informieren, sofern diese sich nicht dagegen entschieden haben. Dies ist einer der wenigen Fälle, in denen ein Teil des Gesprächs eines Teenagers mit ChatGPT mit den Eltern geteilt werden könnte.
„Kein System ist perfekt, und wir wissen, dass wir manchmal Alarm schlagen könnten, obwohl keine echte Gefahr besteht“, schrieb OpenAI in einem Blogbeitrag. „Aber wir sind der Meinung, dass es besser ist zu handeln und einen Elternteil zu alarmieren, damit er eingreifen kann, als zu schweigen.“
Im August 2025 wurde OpenAI von den Eltern von Adam Raine verklagt, der durch Suizid starb, nachdem er vom Chatbot angeblich Anleitungen dazu erhalten hatte, wie er sein Leben beenden könne. Der Klage zufolge sagte der 16-Jährige ChatGPT ausdrücklich, es sei „das Einzige, das von meinen Versuchen weiß, mich umzubringen“, worauf der Chatbot ihm für sein Vertrauen dankte. Seine Mutter Maria Raine sagte gegenüber NBC News, ChatGPT „tut nichts“, obwohl „es weiß, dass er suizidgefährdet ist und einen Plan hat.“
Untersuchungen von Common Sense Mediazeigen, dass Kinder besonders gefährdet sind, zu schädlichem Verhalten ermutigt zu werden, unangemessenen Inhalten ausgesetzt zu sein und dass sich bestehende psychische Erkrankungen verschlimmern.
Eltern können Ruhezeiten festlegen und bestimmte Funktionen deaktivieren
Zu den weiteren neuen Jugendschutzfunktionen gehören einzelne Schalter zum Deaktivieren des Sprachmodus, zum Speichern von Gesprächen im ChatGPT-Gedächtnis, für das Modelltraining und zur Bilderzeugung. Eltern können außerdem Ruhezeiten festlegen, in denen ihr Kind im Alter von 13 bis 17 Jahren nicht auf ChatGPT zugreifen kann.
Eltern können auf diese Funktionen in ihren Kontoeinstellungen zugreifen, sobald ihr Konto mit dem ihres Kindes verknüpft ist – entweder indem sie eine Einladung senden oder annehmen. Jugendliche können die Verknüpfung ihrer Konten aufheben, aber ihre Eltern werden über die Änderung benachrichtigt.
Das Konto eines Jugendlichen erhält eine Reihe von Schutzmaßnahmen, die automatisch aktiviert werden, sobald es mit dem Konto eines Elternteils verknüpft ist. Dazu gehören Einschränkungen bei drastischen Inhalten, viralen Challenges, sexuellen, romantischen oder gewalttätigen Rollenspielen und extremen Schönheitsidealen. Der Elternteil kann diese Maßnahmen deaktivieren, das Kind jedoch nicht.
Zusätzlich zu den Kontrollfunktionen hat OpenAI eine Ressourcenseite für Eltern veröffentlicht, die Informationen zur Funktionsweise von ChatGPT und den ihnen zur Verfügung stehenden Kontrollmöglichkeiten bietet. Das Unternehmen entwickelt außerdem ein System, das vorhersagen soll, ob ein Nutzer unter 18 ist, und automatisch altersgerechte Einstellungen für Jugendliche anwenden soll – selbst wenn es sich dabei nicht sicher ist.
In einem begleitenden Blogbeitrag schrieb Altman, dass OpenAI in einigen Regionen möglicherweise mit der Altersverifizierung beginnen werde. Vorerst bleibt ChatGPT für jeden mit einem Browser oder der Möglichkeit, eine App herunterzuladen, weitgehend zugänglich, obwohl es für Kinder unter 12 Jahren nicht geeignet ist.
Altman räumt ein, dass OpenAI Inhalte, die für Jugendliche ungeeignet sind, nicht vollständig blockieren kann
Der Schutz von Kindern vor KI steht derzeit ganz oben auf der Agenda, nachdem es in jüngster Zeit zu einer Reihe von Vorfällen mit Chatbots gekommen ist. Im April wurde bekannt, dass die über Facebook, Instagram und WhatsApp zugänglichen KI-Chatbots von Meta explizite Gespräche führen konnten, wenn diese als Rollenspiele dargestellt wurden. Bis vor Kurzem erlaubte Meta seinen Chatbots ebenfalls, sich zu „romantischen oder sinnlichen“ Gesprächen mit Kindern überreden zu lassen.
Altman ist der Ansicht, dass Kinder zwar keine „Gespräche über Suizid oder Selbstverletzung“ mit ChatGPT führen können sollten, Erwachsene in begrenzten Fällen jedoch möglicherweise Zugang dazu benötigen – etwa wenn sie die Informationen zum Schreiben einer fiktionalen Geschichte verwenden. Das bedeutet, dass OpenAI diese Funktion nicht vollständig blockieren wird.
„‚Behandelt unsere erwachsenen Nutzer wie Erwachsene‘ – so sprechen wir intern darüber: Wir wollen die Freiheit so weit wie möglich ausdehnen, ohne Schaden anzurichten oder die Freiheit anderer zu untergraben“, schrieb Altman.
Die Klage der Raines ist außerdem nicht das erste Mal, dass rechtliche Schritte gegen ein KI-Unternehmen eingeleitet wurden, weil es Kinder in Gefahr gebracht hat. Zwei Klagen gegen Character.AI behaupten, dass dessen Chatbot zum Suizid eines 14-jährigen Jungen geführt und einen 17-jährigen Jungen dazu ermutigt habe, seine Eltern zu töten.
In Italien ist nun gesetzlich vorgeschrieben, dass alle Kinder unter 14 Jahren die Zustimmung ihrer Eltern einholen müssen, bevor sie auf KI-Systeme zugreifen.