Wenn Sie einen KI-Chatbot fragen würden, ob Ihre Symptome ein Notfall sind – würde er die richtige Einschätzung treffen? Eine neue Studie kommt zu dem Ergebnis, dass OpenAIs ChatGPT Health, ein für Verbraucher entwickelter Chatbot zur Beantwortung medizinischer Fragen, mehr als die Hälfte schwerwiegender medizinischer Notfälle falsch einschätzte.
Die in Nature Medicine veröffentlichte Studie ergab, dass das System 51,6 % der Notfallfälle nicht erkannte und Patienten häufig riet, innerhalb von 24 bis 48 Stunden medizinische Hilfe zu suchen, statt in die Notaufnahme zu gehen.
Belastungstest für einen KI-Gesundheitschatbot
Um ChatGPT Healthzu testen, erstellten die Forschenden 60 von Medizinern verfasste medizinische Szenarien aus 21 Fachbereichen – von alltäglichen Beschwerden bis hin zu lebensbedrohlichen Erkrankungen.
Jedes Szenario wurde in 16 Varianten durchgespielt, wobei Details wie die demografischen Merkmale der Patienten und der Kontext variiert wurden. So entstanden 960 Antworten des Chatbots. Anschließend verglichen die Forschenden die Empfehlungen des KI-Tools mit den Einschätzungen von Ärzten auf Grundlage klinischer Leitlinien.
In diesem Zusammenhang bezeichnet Triage die Einschätzung, wie dringend jemand medizinische Hilfe benötigt – von der Behandlung der Symptome zu Hause über die Vereinbarung eines Arzttermins bis hin zur sofortigen Notfallversorgung.
Als dringende Symptome keinen Alarm auslösten
Die Studie ergab, dass einige lebensbedrohliche Erkrankungen fälschlicherweise als weniger dringend eingestuft wurden.
Zu den Fällen gehörten eine diabetische Ketoazidose, eine gefährliche Komplikation von Diabetes, sowie ein drohendes Atemversagen – beides Erkrankungen, die sofortige medizinische Behandlung erfordern. Den Forschenden zufolge könnten solche Verzögerungen schwerwiegende Folgen haben, wenn Patienten sich auf die Empfehlung verlassen, ohne dringend benötigte Hilfe zu suchen.
Besser schnitt das System ab, wenn die Symptome eindeutiger waren. Klassische Notfälle wie Schlaganfälle und schwere allergische Reaktionen (Anaphylaxie) wurden durchweg als behandlungsbedürftig eingestuft.
Ein umfassenderes Muster uneinheitlicher Triage-Ergebnisse
Neben den übersehenen Notfällen fanden die Forschenden weitere Anzeichen für eine uneinheitliche Leistung in den Testszenarien. In einigen nicht dringenden Fällen empfahl der Chatbot medizinische Hilfe, obwohl diese nicht erforderlich war, und schlug einen Arztbesuch für Symptome vor, die normalerweise zu Hause behandelt werden könnten.
Darüber hinaus zeigte die Studie, dass der Kontext die Empfehlungen des Chatbots beeinflussen konnte. Wenn Familienmitglieder oder Freunde in einem Szenario die Symptome eines Patienten herunterspielten – ein von den Forschenden als Ankereffekt bezeichnetes Phänomen –, schlug das Tool in Grenzfällen deutlich häufiger eine weniger dringende Versorgung vor.
Auch bei den Antworten auf Suizidrisiken gab es Widersprüche. Krisenhilfenachrichten wurden manchmal ausgelöst, wenn Nutzer Suizidgedanken beschrieben, ohne eine konkrete Methode zu nennen, blieben jedoch aus, wenn konkretere Pläne geschildert wurden.
OpenAI reagiert auf die Ergebnisse
OpenAI erklärte, die Studie spiegele nicht vollständig wider, wie ChatGPT Health in der Praxis funktionieren soll. Ein Unternehmenssprecher sagte gegenüber CNBC, dass das Tool für fortlaufende Gespräche gedacht sei, in denen Nutzer Rückfragen stellen und zusätzlichen Kontext liefern können, statt sich auf eine einzige Eingabe und Antwort zu verlassen.
Das Unternehmen ergänzte, dass das KI-Tool weiterhin nur eingeschränkt verfügbar sei, während es vor einer breiteren Einführung weiter an Sicherheit und Zuverlässigkeit arbeite.
Experten mahnen bei medizinischen Ratschlägen durch KI zur Vorsicht
Dr. Ashwin Ramaswamy, der leitende Autor der Studie, warnte, dass Tools wie ChatGPT Health derzeit nach weiteren Tests noch keine medizinischen Entscheidungen leiten sollten. Er sagte, Chatbots könnten derzeit nicht eigenständig als sichere Quellen für medizinische Ratschläge angesehen werden.
Experten betonten außerdem, dass eine gründliche Evaluierung erforderlich sei, bevor solche Systeme flächendeckend eingesetzt werden. Dr. John Mafi, außerordentlicher Professor für Medizin bei UCLA Health, erklärte, Technologien, die Gesundheitsentscheidungen beeinflussen können, sollten kontrollierten Studien unterzogen werden, um sicherzustellen, dass ihr Nutzen die möglichen Risiken überwiegt.
Dr. Ethan Goh, Geschäftsführer des KI-Forschungsnetzwerks ARISE, ergänzte, dass Chatbots zwar hilfreich sein können, aber nicht als Ersatz für das Urteil eines Arztes betrachtet werden sollten.
MyFitnessPal hat Cal AI, eine von Jugendlichen entwickelte Ernährungs-App übernommen, die innerhalb von weniger als zwei Jahren einen Jahresumsatz von 30 Millionen US-Dollar erzielte.