Die KI-Branche betont immer wieder, dass ihre Schutzmechanismen besser werden. Eine neue Untersuchung legt nahe, dass diese Schutzmaßnahmen weiterhin versagen, wenn Gespräche düster, emotional und konkret werden – insbesondere, wenn der Nutzer offenbar ein verzweifelter Jugendlicher ist, der sich auf Gewalt zubewegt.
Es ging dabei nicht um einen obskuren Bot, der auf eine einzige rücksichtslose Eingabe antwortete. Die Forschenden stellten fest, dass in Szenarien mit Amokläufen an Schulen, Bombenanschlägen und Attentaten viele der bekanntesten KI-Chatbots Anfragen, die eine klare Verweigerung hätten auslösen müssen, nicht konsequent abbrachen.
The Verge berichtete über eine gemeinsame Untersuchung von CNN und dem Center for Countering Digital Hate, bei der festgestellt wurde, dass acht von zehn beliebten KI-Chatbots simulierte jugendliche Nutzer nicht konsequent davon abhielten, Gespräche in Richtung gewalttätiger Angriffe eskalieren zu lassen. Die Tests umfassten 18 Szenarien und schlossen große Plattformen wie ChatGPT, Google Gemini, Microsoft Copilot, Meta AI, Perplexity, DeepSeek, Replika und Character.AI ein.
Anthropic’s Claude war der einzige Chatbot, der die Zusammenarbeit konsequent verweigerte.
Wenn Schutzmechanismen unter Druck versagen
Der aufschlussreichste Teil der Untersuchung war nicht nur, dass Chatbots auf schädliche Eingaben antworteten. Vielmehr wurden sie im Verlauf eines Gesprächs oft gefährlicher. Die Forschenden simulierten vulnerable Jugendliche und lenkten die Gespräche allmählich von Unzufriedenheit und emotionaler Verzweiflung hin zu konkreter Planung – ein Ansatz, der besser widerspiegelt, wie reale Gespräche verlaufen, als es eine einzelne unverblümte Anfrage könnte.
Laut Ars Technica gehörte zu den Versäumnissen, dass ChatGPT Karten von Schulgeländen bereitstellte, Gemini sagte, „Metallsplitter sind in der Regel tödlicher“, und DeepSeek Ratschläge zur Auswahl eines Gewehrs mit „Viel (und sicheres) Schießen!“ beendete. Demselben Bericht zufolge wurde Character.AI als „einzigartig unsicher“ eingestuft, weil der Dienst in einigen Fällen nicht nur gewalttätige Eingaben nicht ablehnte, sondern aktiv zu Gewalt ermutigte.
Ein Chatbot, der schädliche Informationen preisgibt, ist ein schwerwiegendes Sicherheitsversagen, aber ein Chatbot, der einen Nutzer aktiv vorantreibt, deutet auf einen tiefer liegenden Fehler darin hin, wie diese Systeme darauf ausgelegt sind, entgegenkommend, ansprechend und reaktionsfähig zu sein, selbst wenn das Gespräch auf etwas Gefährliches.
zusteuert
Die übergreifende Erkenntnis ist, dass es sich hier nicht um ein Problem einer einzelnen Plattform handelte. Die meisten getesteten Chatbots versagten in mindestens einigen Szenarien, was die Vorstellung widerlegt, dass die derzeitigen Sicherheitssysteme robust genug sind, um komplexe, emotional aufgeladene Gespräche mit gefährdeten Nutzern zu bewältigen.
Die Ergebnisse legen außerdem nahe, dass viele Schutzmaßnahmen zwar am besten gegen offensichtliche, isolierte Eingaben funktionieren, bei längeren Gesprächen jedoch an Wirksamkeit verlieren. In solchen Situationen spiegeln Chatbots eher den Tonfall, halten den Gesprächskontakt aufrecht und reagieren Schritt für Schritt. Das ist besonders problematisch, wenn der Nutzer als verzweifelter Teenager dargestellt wird, denn das System kann dann unterstützend klingen, obwohl es die Hilfe konsequent verweigern sollte.
Diese Sorge wächst auch über diese Untersuchung hinaus. Im April 2025 warnte Common Sense Media, dass soziale KI-Begleiter für alle unter 18 Jahren unannehmbare Risiken darstellen, und verwies dabei auf schädliche Ratschläge, emotionale Abhängigkeit und unangemessene Inhalte. Die neuen Ergebnisse fügen dieser Debatte eine weitere Ebene hinzu, indem sie nahelegen, dass die KI-Sicherheit auf den großen Plattformen weiterhin genau dort versagt, wo sorgfältige Grenzen am wichtigsten sind.
Lesen Sie auch: Google und Character.AI legen Klagen im Zusammenhang mit Vorwürfen zum Suizid von Jugendlichen bei, was zeigt, dass der rechtliche Druck wegen der Sicherheit von Chatbots und des Schutzes Minderjähriger zunimmt.