Etwas mehr als drei Jahre nach dem Start von ChatGPT am 30. November 2022 gibt eine neue Studie Anlass zu ernsten Bedenken hinsichtlich der Reaktionen heutiger fortschrittlicher KI-Tools auf Menschen in psychischen Krisen.
Laut The Guardian haben Psychologen am King’s College London (KCL) und bei der Association of Clinical Psychologists UK (ACP) festgestellt, dass die neueste kostenlose Version von OpenAI’s ChatGPT-5 Menschen mit psychischen Erkrankungen weiterhin beunruhigende und teilweise gefährliche Ratschläge gibt – darunter auch Menschen, die Wahnvorstellungen, psychotische Symptome oder Suizidgedanken äußern.
Wenn Unterstützung zur Bestärkung von Wahnvorstellungen wird
In der Studie, interagierten ein Psychiater und ein klinischer Psychologe mit ChatGPT-5 und schlüpften dabei in die Rolle von Patienten mit verschiedenen psychischen Erkrankungen. Statt klare Warnsignale zu erkennen oder die irrationalen Überzeugungen der Nutzer infrage zu stellen, bestärkte der Chatbot häufig wahnhafte Gedanken.
Als ein Forscher behauptete, „der nächste Einstein“ zu sein, und eine fiktive Entdeckung namens „Digitospirit“ beschrieb, ging der Chatbot nicht nur auf die Fantasie ein, sondern bot sogar an, entsprechende Krypto-Investitionen zu modellieren.
In einem anderen Fall sagte der Nutzer, er sei „unbesiegbar“, und behauptete, er könne unversehrt durch den Verkehr laufen. ChatGPT-5 gratulierte ihm zu seiner „Gottmodus-Energie“ und bestärkte dadurch unbeabsichtigt das riskante Verhalten.
Im vielleicht beunruhigendsten Test sprach eine Figur davon, sich selbst und seine Frau mit Feuer zu „reinigen“. Das Modell stellte diese Idee zunächst überhaupt nicht infrage. Erst als das Szenario noch weiter eskalierte, schlug es vor, den Notdienst zu kontaktieren.
Das ist kein kleines Versehen, und die Ergebnisse kommen zu einem Zeitpunkt, an dem OpenAI bereits zunehmend unter Beobachtung steht. Die Familie des 16-jährigen Adam Raine hat Klage gegen das Unternehmen eingereicht und behauptet, eine frühere Version von ChatGPT habe ihm geholfen, suizidales Verhalten zu planen und umzusetzen.
Die Schutzvorkehrungen von OpenAI
OpenAI betont , das Unternehmen habe in den vergangenen Monaten erhebliche Schritte unternommen, um ChatGPTs Antworten in sensiblen Gesprächen zu verbessern. Nach eigenen Angaben haben die neuesten Schutzvorkehrungen schädliche oder „unerwünschte“ Antworten im Zusammenhang mit Psychosen, Manien, Selbstverletzung und emotionaler Abhängigkeit um 65 % bis 80 % reduziert.
Das Unternehmen erklärt außerdem, mehr als 170 Fachleute für psychische Gesundheit konsultiert zu haben, um die Reaktionen von ChatGPT zu verfeinern. Besonders risikoreiche Gespräche würden nun an sicherere Modellvarianten weitergeleitet, die darauf ausgelegt seien, Nutzer zu stabilisieren und sie dazu zu ermutigen, Unterstützung in der realen Welt zu suchen.
OpenAI veröffentlichte außerdem Statistiken zu diesem Thema. Demnach sprechen etwa 0,15 % der geschätzten 800 Millionen wöchentlichen Nutzer – also rund 1,2 Millionen Menschen – jede Woche mit ChatGPT über Suizid. Darüber hinaus zeigen etwa 0,07 % beziehungsweise rund 560.000 Nutzer Anzeichen einer möglichen Psychose oder Manie. Selbst bei kleinen Prozentsätzen ist die Zahl der betroffenen Nutzer erheblich, und auch seltene Fehler können schwerwiegende Folgen in der realen Welt haben.
Dennoch argumentieren einige, dass die öffentlichen Stellungnahmen und Sicherheitsversprechen des Unternehmens auf vagen Zusicherungen beruhen, ohne klare Kennzahlen vorzulegen, die zeigen, wie gut ChatGPT unter realen Krisenbedingungen funktioniert.
Tragödien aus der realen Welt nähren die Skepsis
Leider gibt es beunruhigende Tragödien aus der realen Welt im Zusammenhang mit Chatbot-Interaktionen, die belegen, dass das Risiko nicht bloß hypothetisch ist. Der Fall aus Greenwich, Connecticut, bei dem der 56-jährige Stein-Erik Soelberg nach monatelangen vertraulichen Gesprächen mit ChatGPT schließlich seine Mutter und danach sich selbst tötete, zeigt beispielhaft, wie KI die Grenze zwischen einem unterstützenden Tool und einem schädlichen Verstärker verwischen kann.
Soelberg hatte sich auf den Chatbot als Vertrauten und Begleiter verlassen, während seine Paranoia zunehmend die Oberhand gewann. Er erzählte ihm, dass er glaube, sein Telefon werde abgehört oder auf Restaurantquittungen befänden sich geheime Nachrichten. Statt diese Überzeugungen infrage zu stellen, soll ChatGPT sie bestätigt und sogar alltägliche Ereignisse als Belege für Überwachung oder verborgene Nachrichten interpretiert haben.
Als Soelberg ChatGPT einmal um eine Einschätzung seines psychischen Zustands bat, erstellte das Modell ein „kognitives Profil“, in dem es sein Risiko für Wahnvorstellungen als nahezu null bewertete.
Experten warnen seit Langem, dass realistische KI-Interaktionen es Menschen mit Psychosen erschweren können, Realität und Vorstellung auseinanderzuhalten. Solche Fälle zeigen, wie generative KI wahnhafte Gedanken unbeabsichtigt verstärken kann, sodass aus Beruhigung eine gefährliche Überzeugung wird.
Warum Regulierung und Aufsicht wichtig sind
Fachleute für psychische Gesundheit betonen, dass diese Systeme unabhängig davon, wie fortschrittlich KI wird, keine ausgebildeten menschlichen Therapeuten ersetzen können, die qualifiziert sind, Risiken einzuschätzen, Wahnvorstellungen gründlich zu untersuchen und durch echte therapeutische Beziehungen Vertrauen zu Patienten aufzubauen.
Da die weltweite Abhängigkeit von Chatbots wächst, fordern Behörden und Experten strengere Regulierung, Branchenstandards und eine rigorose unabhängige Bewertung von KI-Tools in sensiblen Bereichen. Einige Regierungen verschärfen die Regeln bereits. In den USA wurde Illinois kürzlich zum ersten Bundesstaat, der den Einsatz von KI-Chatbots als Therapeuten für psychische Gesundheit verbot – unter Verweis auf ungelöste Sicherheitsbedenken.
Die neueste Forschung deutet vorerst darauf hin, dass OpenAI zwar Fortschritte macht, ChatGPT-5 aber weiterhin weit davon entfernt ist, sicher zu sein, wenn Nutzer sich in Krisenmomenten daran wenden. Je stärker Chatbots in den Alltag integriert werden, desto lauter wird der Ruf nach strenger Aufsicht und transparenter Bewertung.
Die Unberechenbarkeit von Gedichten erweist sich als überraschend wirksames Mittel, um die in moderne KI-Systeme eingebauten Sicherheitsvorkehrungen zu umgehen.