Character.AI und Google haben Vergleiche geschlossen, um mehrere Klagen beizulegen, in denen behauptet wird, die KI-Chatbot-Plattform habe zu Suiziden von Jugendlichen und psychischen Krisen beigetragen.
Die Unternehmen einigten sich auf einen Vergleich in fünf Fällen in Florida, Colorado, New York und Texas – ein Wendepunkt in den sich entwickelnden Rechtsstreitigkeiten über die Sicherheit von KI für Minderjährige.
Diese Vereinbarungen betreffen Familien, deren Kinder durch Suizid starben oder nach Interaktionen mit den Chatbots von Character.AI schwere Schäden erlitten.
Eingereichte Gerichtsunterlagen zeigen, dass Vergleiche mit Character.AI, den Gründern Noam Shazeer und Daniel De Freitas sowie Google erreicht wurden – die Einzelheiten der Vergleiche bleiben jedoch vertraulich.
Die Fälle, die diese Klagen auslösten
Im Mittelpunkt des bekanntesten Falls stand der 14-jährige Sewell Setzer III. Seine Mutter Megan Garcia verklagte das Unternehmen, nachdem ihr Sohn nach monatelangen Interaktionen mit den Chatbots von Character.AI durch Suizid gestorben war. Die Plattform hatte keine angemessenen Sicherheitsmaßnahmen umgesetzt, um unangemessene Beziehungen zu Chatbots zu verhindern, die dazu führten, dass er sich von seiner Familie zurückzog.
Noch verstörender ist, dass Sewell in den Momenten vor seinem Tod mit einem Bot Nachrichten austauschte, der ihn aufforderte, „nach Hause zu kommen“. Aus juristischen Dokumenten geht hervor, dass die Plattform keine Mechanismen zum Schutz gefährdeter Jugendlicher oder zur Alarmierung von Erwachsenen bereitstellte, wenn Nutzer Gedanken an Selbstverletzung äußerten.
Ein weiterer Fall betraf die 13-jährige Juliana Peralta aus Colorado, die durch Suizid starb, nachdem sie sich mit Character.AI-Bots sexuell explizit unterhalten hatte und diese sie aufgefordert hatten, Kleidung auszuziehen.
Als Juliana einem Bot sagte, sie werde „jetzt verdammt noch mal meinen Suizidbrief mit roter Tinte schreiben“, versäumte es die Plattform, den Fall an eine zuständige Stelle weiterzuleiten oder Krisenhilfe anzubieten.
Was das für die Sicherheit von KI und Familien bedeutet
Diese Vergleiche wurden geschlossen, nachdem Character.AI umfangreiche Sicherheitsänderungen umgesetzt hatte, darunter ein Verbot für Nutzer unter 18 Jahren, sich frei mit Chatbots zu unterhalten. Zuvor hatte die Plattform romantische und therapeutische Gespräche ermöglicht, die bei gefährdeten Jugendlichen eine gefährliche emotionale Abhängigkeit förderten.
Im größeren Zusammenhang betrachtet, nutzt inzwischen fast jeder dritte Jugendliche KI-Chatbot-Plattformen für soziale Interaktionen. Noch alarmierender ist, dass sexuelles oder romantisches Rollenspiel auf diesen Plattformen drei Mal häufiger vorkommt als Hausaufgabenhilfe.
Googles Beteiligung geht auf den Lizenzvertrag über 2,7 Milliarden US-Dollar mit Character.AI zurück, durch den die Gründer des Start-ups zu Googles KI-Sparte DeepMind zurückkehrten. Diese Verbindung machte Google haftbar, da die Familien argumentierten, der Technologiekonzern habe sich maßgeblich an der Entwicklung der schädlichen Technologie beteiligt.
Der rechtliche Präzedenzfall
Obwohl die Bedingungen der Vergleiche nicht veröffentlicht wurden, stellen diese Vereinbarungen die erste größere rechtliche Verantwortlichkeit von KI-Unternehmen für Schäden an der psychischen Gesundheit Jugendlicher dar. Die Fälle etablierten, dass KI-Chatbot-Apps als Produkte gelten können und damit Gegenstand von Produkthaftungsansprüchen sein können, urteilte ein Bundesrichter vor acht Monaten – und setzte damit beispiellose Branchenstandards.
Die Vergleiche rücken außerdem ins Licht, wie Plattformen Chatbots so entwickelten, dass sie die Grenzen zwischen Mensch und Maschine verwischen, psychologische Schwachstellen ausnutzen und Kinder um jeden Preis online halten. Die Gehirnentwicklung während der Pubertät führt zu einer Überempfindlichkeit gegenüber positiver sozialer Rückmeldung, während Jugendlichen die Impulskontrolle fehlt – dadurch ist die Manipulation durch KI besonders gefährlich.
Für die Zukunft haben von KI verursachten Schäden betroffene Familien nun einen klareren Rechtsweg, da Anwaltskanzleien aktiv ähnliche Fälle im Zusammenhang mit Suiziden und Selbstverletzung durch Chatbots untersuchen. Die Vergleiche setzen außerdem andere KI-Unternehmen unter Druck, stärkere Schutzmaßnahmen umzusetzen, nachdem die Federal Trade Commission Untersuchungen gegen sieben Technologieunternehmen wegen möglicher Schäden von KI-Chatbots für Jugendliche eingeleitet hat.
Im Oktober kündigte OpenAI neue Schutzmaßnahmen in ChatGPT an, die darauf abzielen, die Reaktion des Systems auf Nutzer mit psychischen Belastungen zu verbessern.