OpenAI hat neue Schutzmaßnahmen für ChatGPT angekündigt, die verbessern sollen, wie das System auf Nutzer mit psychischen Belastungen reagiert.
In einem Beitrag mit dem Titel „Stärkung der Antworten von ChatGPT in sensiblen Gesprächen“ kündigte das Unternehmen neue Verbesserungen an, die „unerwünschte Antworten“ in sensiblen Bereichen wie Psychosen, Manien, Selbstverletzung und emotionaler Abhängigkeit von KI um 65 % bis 80 % reduzieren sollen.
OpenAI erklärt, es habe mit mehr als 170 Psychiatern und Psychologen zusammengearbeitet, um den Umgang von ChatGPT mit Menschen in Krisen zu verbessern.
In dem Beitrag wurde betont, dass das System Nutzer nun dazu ermutigt, den Kontakt zu Menschen in ihrem Umfeld und zu professioneller Hilfe wieder aufzunehmen, und zugleich von einer ungesunden Abhängigkeit vom Chatbot selbst abrät.
Eine enorme Reichweite und eine große Verantwortung
Die erste Analyse von OpenAI schätzt, dass etwa 0,15 % der 800 Millionen wöchentlich aktiven Nutzer – also ungefähr 1,2 Millionen Menschen – in einer bestimmten Woche mit ChatGPT über Suizid sprechen. Weitere 0,07 %, also rund 560.000 Nutzer, zeigen Anzeichen einer möglichen Psychose oder Manie.
OpenAI bezeichnet diese Gespräche zwar als „äußerst selten“, doch bei dieser Größenordnung entspricht selbst ein geringer Prozentsatz einer großen Zahl von Menschen, die auf KI als emotionale Unterstützung angewiesen sind.
Das Unternehmen erklärte außerdem, dass bestimmte Gespräche mit hohem Risiko an Modelle weitergeleitet werden, die auf größere Sicherheit ausgelegt sind. In einem angeführten Beispiel versichert ChatGPT einem aufgewühlten Nutzer, dass „kein Flugzeug und keine Kraft von außen deine Gedanken stehlen oder in sie einfügen kann“, und bietet Techniken zur Erdung sowie Krisenhilfen an.
Die Außenwirkung und anhaltende Herausforderungen
Die Änderungen mögen zwar den Schaden verringern, doch der Ton von OpenAI lässt aufhorchen. Der Blogbeitrag liest sich wie sorgfältig formulierter Werbetext, durchsetzt mit Unternehmensjargon (darunter „Taxonomien“ und „gewünschte Verhaltensweisen“), bietet aber nur minimale Transparenz darüber, wie die Empathie von ChatGPT trainiert, gemessen oder überprüft wird.
OpenAI räumte ein, dass sich seine Definitionen von „Belastung“ weiterhin entwickeln, und erklärte, das Unternehmen wolle seine Taxonomien und Bewertungen bei zukünftigen Versionen des Modells.
OpenAI erklärte, diese Aktualisierungen seien Teil der Bemühungen, sicherzustellen, dass ChatGPT „die Beziehungen der Nutzer in der realen Welt unterstützt und respektiert“ und zugleich in ernsten Situationen sicher bleibt.
Skeptiker argumentieren jedoch, dass die humanistische Rhetorik des Unternehmens zugleich der Markenpflege dient, und fragen, ob es sich bei der Änderung um ethische Innovation oder um fachmännisch verpackte Beruhigung handelt.
OpenAI-CEO Sam Altman wagt einen neuen Schritt im Bereich der KI … diesmal direkt ins menschliche Gehirn.

