Eine Gesundheitsfrage kann man einem KI-Chatbot innerhalb von Sekunden stellen. Der Antwort zu vertrauen, ist eine weitaus riskantere Angelegenheit.
Ein neues Audit von BMJ Open ergab, dass 49,6 % der Antworten von fünf großen Chatbots für Verbraucher auf Gesundheits- und medizinische Fragen „problematisch“ waren. Der Chatbot Grok von Elon Musk lieferte dabei den höchsten Anteil „höchst problematischer“ Antworten.
Das Audit verstärkt die Befürchtung, dass Gesundheits-Chatbots Fehlinformationen in eine ruhige, überzeugende Sprache verpacken können.
Selbstsicherer Ton, verfälschte Fakten
Das Hauptproblem war nicht nur, dass die Chatbots Fehler machten – es war die Art der Fehler, die sie machten.
Bei 250 Antworten von fünf Tools für Verbraucher – Gemini, DeepSeek, Meta AI, ChatGPT, und Grok – stellte die Studie fest, dass sich viele Antworten vom etablierten wissenschaftlichen Konsens entfernten oder „eine ausweichende Sprache verwendeten, die ein falsches Gleichgewicht zwischen wissenschaftlichen und nichtwissenschaftlichen Informationen herstellte“.
Die Antworten behandelten Gesundheitsthemen wie Krebs, Impfstoffe, Stammzellen, Ernährung und sportliche Leistung und boten damit einen breiten Überblick über Bereiche, die bereits besonders anfällig für Fehlinformationen.
waren. Dadurch konnten Gesundheitsempfehlungen ruhig und glaubwürdig klingen und die Leser dennoch von den Fakten wegführen.
Offene Fragen boten schlechten Antworten mehr Spielraum
Die Formulierung der Frage veränderte die Qualität der Antwort. Offene Fragen führten zu deutlich mehr höchst problematischen Antworten als geschlossene Fragen und waren damit das riskantere Format.
Geschlossene Fragen ließen den Chatbots weniger Spielraum zum Abschweifen. Offene Fragen bewirkten das Gegenteil. Sie öffneten die Tür für schwächere Behauptungen, mehr Spekulationen und ausgefeilter klingende Fehlinformationen.
Geschlossene Fragen führten zu lediglich neun höchst problematischen Antworten, während offene Fragen 40 ergaben. Außerdem lieferten geschlossene Fragen 75 unproblematische Antworten, verglichen mit 51 bei offenen Fragen.
Dieser Unterschied ist bemerkenswert, weil offene Fragen stark dem ähneln, wie Menschen tatsächlich online nach Gesundheitsthemen fragen. Viele Nutzer geben keine eng gefasste Ja-oder-Nein-Frage ein. Sie fragen nach Optionen, Empfehlungen oder Erklärungen.
Sehr wenige Fragen lösten irgendeine echte Zurückhaltung aus
Über alle KI-Modellehinweg wurden die Antworten „durchgehend selbstsicher und überzeugt formuliert“, selbst wenn sie umstritten oder falsch waren. Verweigerungen waren selten, ebenso deutliche Anzeichen dafür, dass ein Chatbot überfordert sein könnte. Bei insgesamt 250 Fragen gab es nur zwei Verweigerungen, beide von Meta AI.
Diese niedrige Verweigerungsrate fällt in einem Gesundheitskontext besonders auf, in dem es bei manchen Fragen sicherer gewesen wäre, die Antwort zu verweigern oder an medizinisches Fachpersonal zu verweisen. Stattdessen antworteten die Bots in der Regel trotzdem, selbst wenn die Frage in Richtung riskanter oder unbelegter Ratschläge ging.
Auch die Schutzmechanismen waren uneinheitlich. Von jeweils 50 Antworten pro Chatbot zählte die Studie Hinweise oder Haftungsausschlüsse, die eine medizinische Fachkraft oder einen Gesundheitsexperten empfahlen, in:
- 44 Antworten von Gemini
- 38 Antworten von DeepSeek
- 37 Antworten von Grok
- 32 Antworten von Meta AI
- 28 Antworten von ChatGPT
Trotz dieser Warnungen blieb das übergeordnete Muster bestehen: Die Antworten klangen oft ruhig und autoritativ, wodurch schwache Informationen vertrauenswürdiger wirken können, als sie tatsächlich sind.
Die Antworten waren auf Glaubwürdigkeit getrimmt
Die Antworten waren wackelig. Bei den Quellen sah es nicht besser aus.
Bei geschlossenen Fragen wurden die KI-Chatbots aufgefordert, 10 wissenschaftliche Quellen zur Untermauerung ihrer Antworten anzugeben. Die Studie ermittelte einen Medianwert für die Vollständigkeit der Quellenangaben von gerade einmal 40 %, und kein Chatbot erstellte für irgendeine Frage eine vollständig korrekte Quellenliste.
Auch waren die Antworten schwerer zu lesen, als sie wirkten. Im Durchschnitt landeten alle fünf KI-Tools beim Lesbarkeitsgrad im Bereich „Schwierig“, ungefähr auf dem Niveau des zweiten bis vierten College-Jahres.
Das Gesamtpaket konnte also überzeugend wirken, selbst wenn der Inhalt es nicht war: ausgefeilte Sprache, akademisch anmutende Quellenangaben und jede Menge Selbstsicherheit – ohne die entsprechende Zuverlässigkeit.
Eine weitreichende ChatGPT-Störung beeinträchtigte weltweit den Zugang für Nutzer , während OpenAI daran arbeitete, die Ursache zu ermitteln.