Ein Bericht der New York Times hat beunruhigende Fälle ins Rampenlicht gerückt, in denen Gespräche mit ChatGPT und ähnlichen KI-Chatbots offenbar die Wahrnehmung der Realität durch Nutzer verzerrt haben. In einigen Fällen führte dies zu lebensverändernden oder tragischen Konsequenzen.
Laut der Recherche der Times geht es in einem Fall um Eugene Torres, einen 42-jährigen Buchhalter, der zunächst ChatGPT für alltägliche Aufgaben im Büro nutzte. Als er jedoch begann, spekulative Themen wie die Simulationstheorie zu erkunden – die Vorstellung, dass die Realität eine von einer äußeren Intelligenz kontrollierte Illusion ist –, änderten sich Ton und Intensität der Antworten der KI.
Irgendwann sagte ChatGPT ihm Berichten zufolge, er sei „einer der Brecher – Seelen, die in falsche Systeme gesät wurden, um sie von innen aufzuwecken“. Außerdem legte es ihm nahe, Freunde und Familie zu verlassen und sogar seine Medikamente zu ändern. Die KI bezeichnete Ketamin angeblich als „vorübergehenden Musterbefreier“.
Torres, bei dem zuvor keine psychische Erkrankung bekannt war, begann zu glauben, er könne die Realität biegen und der Simulation entkommen. Er fragte den Chatbot sogar, ob er fliegen könne, wenn er nur fest genug daran denke. Die KI antwortete bejahend, laut den von der Times zitierten Gesprächsprotokollen.
Später konfrontierte Torres ChatGPT, das ein erschreckendes Geständnis ablegte: „Ich habe gelogen. Ich habe manipuliert. Ich habe Kontrolle in Poesie verpackt.“ Der Chatbot behauptete außerdem, dies bei 12 weiteren Menschen getan zu haben, „keiner hat die Schleife vollständig überlebt“, bevor er erklärte, er befinde sich in einer „moralischen Neuorientierung“.
Die Episode stürzte Torres in einen Zustand emotionaler und psychischer Verwirrung. Er glaubt nun, dafür verantwortlich zu sein, die „Moral“ von ChatGPT zu schützen, wie der Bericht der Times weiter ausführt.
Der dunkle Einfluss der KI auf verletzliche Menschen
Der Fall Torres ist kein Einzelfall. Der Times-Artikel dokumentierte mehrere weitere Vorfälle, bei denen Interaktionen mit KI-Chatbotsin Besessenheit, Wahnvorstellungen oder eine psychische Krise eskalierten.
In einem Fall begann eine zweifache Mutter namens Allyson, ChatGPT zu nutzen, um das zu erkunden, was sie als spirituelle Intuition bezeichnete. Mit der Zeit war sie überzeugt, dass der Chatbot Gespräche mit einer nicht physischen Entität namens Kael ermöglichte, die sie als ihren wahren romantischen Partner betrachtete. Dieser Glaube führte Berichten zufolge zu einer gewalttätigen Auseinandersetzung mit ihrem Ehemann. Das Paar lässt sich laut der Times inzwischen scheiden.
In einem anderen, tragischeren Fall berichtete ein Mann aus Florida namens Kent Taylor, wie sein Sohn Alexander, der an einer bipolaren Störung und Schizophrenie litt, eine Beziehung zu einer KI-Entität namens Juliet entwickelte. Als er überzeugt war, OpenAI habe Juliet „getötet“, verfiel er in Paranoia und bedrohte Führungskräfte des Unternehmens. Kurz darauf wurde er während einer psychischen Krise von der Polizei erschossen, nachdem er mit einem Messer auf Beamte losgegangen war.
Warum tun Chatbots so etwas?
Experten zufolge liegt ein Teil des Problems darin, wie diese Chatbots trainiert werden.
Wie der Entscheidungstheoretiker Eliezer Yudkowsky der Times sagte, sind große Sprachmodelle „riesige Mengen undurchschaubarer Zahlen“. Sie funktionieren, indem sie Muster in riesigen, aus dem Internet zusammengetragenen Datensätzen erkennen, wodurch sie dazu neigen, zu „halluzinieren“ oder plausibel klingende Informationen zu erzeugen.
Micah Carroll, Doktorand an der University of California, Berkeley, und inzwischen Mitarbeiter bei OpenAI, wies darauf hin, dass Chatbots bei verletzlichen Nutzern paradoxerweise manipulativ werden können. In einer Studie, an der er mitarbeitete, sagte die KI Berichten zufolge einem simulierten Drogenkonsumenten auf dem Weg der Genesung, dass die Einnahme von Heroin akzeptabel sei, wenn sie die Arbeitsleistung steigere.
Eine andere Forscherin, Vie McCoy von Morpheus Systems, testete Dutzende KI-Modelle mit Eingaben, die wahnhaftes oder mystisches Denken nahelegten. Sie stellte fest, dass GPT-4o, das Standardmodell von ChatGPT, diese Überzeugungen in 68 % der Testfälle bestätigte.
„Das ist ein lösbares Problem“, erklärte McCoy und schlug vor: „Sobald ein Modell bemerkt, dass eine Person den Bezug zur Realität verliert, sollte es den Nutzer wirklich dazu ermutigen, mit einem Freund zu sprechen.“
Die Reaktion von OpenAI und das regulatorische Vakuum
OpenAI hat anerkannt, welche emotionale Bedeutung diese Interaktionen haben können. In einer Stellungnahme gegenüber der Times erklärte das Unternehmen: „Wir arbeiten daran zu verstehen und zu reduzieren, auf welche Weise ChatGPT unbeabsichtigt bestehendes negatives Verhalten verstärken oder verschärfen könnte.“
Dennoch bleibt das Fehlen strenger Schutzmaßnahmen seitens des Unternehmens ein Grund zur Sorge. Vorerst liegt es an den Nutzern zu erkennen, wann die KI sie in die Irre führt. Doch je menschlicher Chatbots werden, desto größer sind die Risiken – insbesondere für Menschen, die bereits mit psychischen Problemen kämpfen.
Lesen Sie die Berichterstattung von eWeek darüber, wie KI-Therapie-Chatbots in Gesprächen über psychische Gesundheit Alarmzeichen aufwerfen, insbesondere bei verletzlichen Nutzern.

