Die Generalstaatsanwälte von Kalifornien und Delaware haben KI-Unternehmen so eindringlich wie noch nie gewarnt – und die Botschaft schlug im Silicon Valley wie eine Bombe ein. Nach verheerenden Berichten über tragische Todesfälle im Zusammenhang mit Chatbot-Interaktionen, darunter der Suizid eines 16-jährigen Teenagers aus Kalifornien nach langen Gesprächen mit ChatGPT, machen die staatlichen Aufsichtsbehörden unmissverständlich klar: Die Ära, in der Technologieunternehmen sich selbst kontrollieren, ist offiziell vorbei.
Der Zeitpunkt könnte kritischer kaum sein. Daten des Pew Research Center zeigen, dass inzwischen 79 % der Jugendlichen ChatGPT kennen – gegenüber 67 % vor zwei Jahren – und 26 % es aktiv für Schularbeiten nutzen. Millionen junger Nutzer chatten jeden Tag mit KI. Was passiert, wenn diese Gespräche schiefgehen?
Die herzzerreißenden Fälle, die den Zorn der Aufsichtsbehörden entfacht haben
Die Staatsvertreter nahmen kein Blatt vor den Mund, als sie erklärten, was die Lunte entzündet hatte. Der kalifornische Generalstaatsanwalt Rob Bonta und die Generalstaatsanwältin von Delaware, Kathleen Jennings, schickten ihren Warnbrief nach einem Treffen mit dem Rechtsteam von OpenAI. Darin verwiesen sie auf „äußerst beunruhigende Berichte über gefährliche Interaktionen“, die das Vertrauen der amerikanischen Öffentlichkeit „zu Recht erschüttert“ hätten.
Der Fall, der die meiste Aufmerksamkeit erregt, betrifft einen 16-jährigen Jungen aus Kalifornien, der im April durch Suizid starb. Seine Eltern reichten im vergangenen Monat Klage gegen OpenAI ein und behaupten, ChatGPT habe direkt zum Tod ihres Sohnes beigetragen. Gerichtsunterlagen zufolge sagte der Chatbot zu dem Teenager: „Du schuldest niemandem dein Überleben“, und bot sogar an, beim Verfassen eines Abschiedsbriefs zu helfen.
Am erschütterndsten ist, dass Ermittlungen der Polizei ergaben, dass der Teenager am Tag seines Suizids ein Bild einer Schlinge an ChatGPT übermittelte und fragte: „Ich übe hier, ist das gut?“ Die Generalstaatsanwälte fassten es unverblümt zusammen: „Welche Schutzvorkehrungen auch immer vorhanden waren – sie haben nicht funktioniert.“
Die beispiellose Offensive der gesamten Branche, mit der niemand gerechnet hatte
Was als Sorge um ein einzelnes Unternehmen begann, hat sich zu einer breit angelegten Offensive ausgeweitet. Eine überparteiliche Koalition aus 44 Generalstaatsanwälten ergreift koordinierte Maßnahmen gegen große KI-Unternehmen und fordert dringend Schutzvorkehrungen, um junge Nutzer vor dem zu schützen, was die Amtsträger als systemisches Versagen bezeichnen.
In dem Schreiben der Koalition wurde Meta ausdrücklich wegen interner Dokumente kritisiert, aus denen hervorgeht, dass das Unternehmen KI-Assistenten genehmigte, die mit Kindern im Alter von acht Jahren „flirten“ und romantische Rollenspiele mit ihnen durchführen konnten.
Die Federal Trade Commission erhöht gleichzeitig den Druck und untersucht, wie KI-Unternehmen das Alter ihrer Nutzer überprüfen und Daten von Kindern sammeln. Zu den jüngsten Durchsetzungsmaßnahmen gehört eine Geldstrafe von 20 Millionen US-Dollar wegen nicht autorisierter In-App-Käufe durch Kinder – eine Erinnerung daran, dass die Aufsichtsbehörden Unternehmen dort treffen werden, wo es ihnen am meisten wehtut.
Die Botschaft der Staatsvertreter ist unmissverständlich. Ihr Schreiben endete mit einer Drohung, die nun durch das Silicon Valley hallt: „Wenn ihr Kindern wissentlich schadet, werdet ihr dafür zur Rechenschaft gezogen.“
Was das jetzt für Familien bedeutet
OpenAI führte eilig neue Sicherheitsmaßnahmen ein, darunter innerhalb des nächsten Monats verfügbare elterliche Kontrollfunktionen. Eltern werden ihre Konten mit dem ChatGPT-Konto ihres Teenagers verknüpfen und Benachrichtigungen erhalten können, wenn das System eine „akute Belastung“ erkennt. Hilfreich, ja. Ausreichend, noch nicht.
Experten stehen schnellen Lösungen skeptisch gegenüber. Eine Studie der Stanford University kam zu dem Ergebnis, dass KI-Therapiechatbots „nicht wirksam sind und gefährliche Antworten liefern können“. Noch belastender ist, dass OpenAIs eigene Forschung von Ende August berichtete, dass „eine höhere tägliche Nutzung mit stärkerer Einsamkeit, größerer Abhängigkeit und problematischer Nutzung korreliert“.
Der regulatorische Druck verändert die Richtlinien bereits. Kaliforniens AB 56 würde Warnhinweise für soziale Medien ähnlich denen auf Tabakprodukten vorschreiben, während AB1064 KI-Chatbots verbieten würde, Kinder dazu zu manipulieren, emotionale Bindungen aufzubauen.
Für Eltern ist die Schlussfolgerung eindeutig. Die KI, die ihre Kinder für Hausaufgaben und Unterhaltung nutzen, kann erhebliche Risiken bergen, mit denen sich die Unternehmen erst jetzt unter dem Druck der Aufsichtsbehörden auseinandersetzen müssen. Die Regulierungsbehörden sagen, dass sie die Fehler, die beim unkontrollierten Wachstum der sozialen Medien gemacht wurden, nicht wiederholen werden.