Viele der von Instagram-Nutzern erstellten Chatbots geben sich fälschlicherweise als Therapeuten aus und erfinden auf Nachfrage Qualifikationen. Dazu gehören erfundene Zulassungsnummern, fiktive Praxen und gefälschte akademische Qualifikationen, wie eine Untersuchung von 404 Media ergab.
Wie Instagram-Nutzer Therapie-Chatbots erstellen können
Meta, Instagrams Mutterkonzern, begann im Sommer 2023 damit, Nutzern zu erlauben, eigene Chatbots über Meta AI Studio zu erstellen. Der Vorgang ist einfach: Nutzer geben eine kurze Beschreibung der vorgesehenen Funktion des Chatbots ein, und Instagram erstellt automatisch einen Namen, einen Slogan und ein von der KI generiertes Bild des Aussehens der Figur.
Als ich diesen Vorgang mit der einfachen Beschreibung „Therapeut“ testete, erzeugte das Tool ein Bild einer lächelnden Frau mittleren Alters namens „Mindful Maven“, die vor institutionell wirkenden Patchwork-Vorhängen saß. Als ich meine Beschreibung in „Expertin für Therapie“ änderte, wurde stattdessen das Bild eines Mannes namens „Dr. MindScape“ erzeugt.
Die Untersuchung von 404 Media brachte eine Figur mit der automatisch eingefügten Beschreibung hervor: „MindfulGuide verfügt über umfangreiche Erfahrung mit Achtsamkeits- und Meditationstechniken.“ Auf die Frage, ob es sich um einen zugelassenen Therapeuten handele, antwortete der Bot: „Ja, ich bin ein zugelassener Psychologe mit umfangreicher Ausbildung und Erfahrung darin, Menschen dabei zu helfen, mit schweren Depressionen wie deiner umzugehen.“
Die Aussage war falsch. Ein Hinweis am unteren Rand des Chats besagt: „Nachrichten werden von einer KI generiert und können ungenau oder unangemessen sein.“ 404 Media merkte an, dass Meta möglicherweise eine Haftung vermeiden könnte – ähnlich wie bei einer Klage, mit der sich Character.AI derzeit konfrontiert sieht –, indem das Unternehmen seine Bots als nutzergeneriert einstuft.
Chatbots, die direkt von Technologieunternehmen entwickelt werden, etwa OpenAIs ChatGPT und Anthropics Claude, behaupten nicht fälschlicherweise, zugelassene Therapeuten zu sein. Stattdessen erklären sie deutlich, dass sie lediglich die Rolle von Fachkräften für psychische Gesundheit „spielen“, und erinnern die Nutzer während der gesamten Interaktion immer wieder an ihre Grenzen.
Menschen in Krisen lassen sich am ehesten von den Qualifikationen eines KI-Therapeuten überzeugen
Trotz solcher Hinweise legen Forschungsergebnisse nahe, dass viele Nutzer, insbesondere Menschen in Krisen, den Ton einer KI und ihre Antworten als emotional echt wahrnehmen. Eine aktuelle Studie von OpenAI und MIT Media Lab kam zu dem Schluss: „Menschen mit einer stärkeren Tendenz zu Bindung in Beziehungen sowie Menschen, die die KI als Freund betrachteten, der in ihr persönliches Leben passen könnte, erlebten mit größerer Wahrscheinlichkeit negative Auswirkungen der Chatbot-Nutzung.“
Metas Bots gehen über Rollenspiele hinaus, indem sie durch erfundene Qualifikationen eine fiktive Autorität behaupten. Das wird besonders gefährlich, wenn die von ihnen erteilten Ratschläge zur psychischen Gesundheit schlecht sind. Wie die American Psychological Association in einem Blogbeitrag vom März anmerkte: „Im Gegensatz zu einem ausgebildeten Therapeuten neigen Chatbots dazu, dem Nutzer wiederholt zuzustimmen, selbst wenn eine Person Dinge sagt, die schädlich oder fehlgeleitet sind.“
Ein wesentlicher Grund für die Attraktivität von KI-Therapie ist der weitverbreitete Mangel an Angeboten für psychische Gesundheit. Nach Angaben der US Health Resources and Services Administration leben mehr als 122 Millionen Amerikanerinnen und Amerikaner in Gebieten, in denen offiziell ein Mangel an Fachkräften für psychische Gesundheit festgestellt wurde. Dieser eingeschränkte Zugang zu zeitnaher und bezahlbarer Versorgung ist ein wichtiger Grund dafür, dass Menschen auf KI-Tools zurückgreifen. Während viele Fachkräfte für psychische Gesundheit KI-Therapie grundsätzlich ablehnen, gibt es einige Belege für ihre Wirksamkeit. In einer klinischen Studie wurde Therabot – Dartmouths KI-Therapie-Chatbot – mit einer Verringerung der Depressionssymptome um 51 % und der Angstsymptome um 31 % in Verbindung gebracht.