ChatGPT von OpenAI übertraf Ärzte bei der Diagnose der Erkrankungen von Patienten in einer kleinen randomisierten klinischen Studie. Die zwischen dem 29. November und dem 29. Dezember 2023 an drei akademischen medizinischen Zentren in den USA durchgeführte Studie wurde im November 2024 im peer-reviewten Fachjournal JAMA Network Open veröffentlicht.
Die Fokusstudie sollte klären, ob KI auf Basis eines Large Language Model (LLM) die diagnostische Argumentationsleistung von Medizinern im Vergleich zu herkömmlichen Hilfsmitteln verbessern kann.
Fünfzig Ärzte wurden für die Teilnahme an der klinischen Studie rekrutiert – 26 Fachärzte und 24 Assistenzärzte, alle in den USA ausgebildet und auf Allgemeinmedizin, Innere Medizin oder Notfallmedizin spezialisiert. Die Ärzte wurden in zwei Gruppen mit jeweils 25 Mitgliedern aufgeteilt. Jede Gruppe erhielt 60 Minuten Zeit, um bis zu 6 klinische Fallvignetten oder medizinische Fallberichte zu prüfen. Eine Gruppe hatte Zugriff auf generative KI-Chatbots, die andere auf herkömmliche Online-Ressourcen.
Obwohl die Ergebnisse zeigten, dass es keinen signifikanten Unterschied zwischen Ärzten, die Chatbots verwenden und Ärzten mit herkömmlichen Hilfsmitteln gab, war Dr. Adam Rodman vom Beth Israel Deaconess Medical Center in Boston „schockiert“ darüber, dass ChatGPT bei seinen medizinischen Diagnosen durchschnittlich 90 Prozent erreichte. Die Ärzte mit Zugriff auf ChatGPT erzielten 76 Prozent – zwei Prozentpunkte mehr als die Gruppe, die herkömmliche Hilfsmittel verwendete und 74 Prozent erreichte.
Zunächst waren die Teilnehmer nicht von der diagnostischen Argumentation hinter den KI-Chatbots überzeugt. „Sie hörten nicht auf die KI, wenn diese ihnen Dinge sagte, mit denen sie nicht einverstanden waren“, sagte Rodman der New York Times. Das fand er heraus, indem er die Daten genauer untersuchte, darunter die Nachrichtenprotokolle von ChatGPT und den Ärzten.
Diese Studie zeigt, dass weitere Untersuchungen dieser Art dem medizinischen Bereich ermöglichen würden, das Potenzial von KI zur Verbesserung klinischer Diagnosen zu nutzen. Fehler bei medizinischen Diagnosen kommen vor und können Patienten schaden. Medizinische KI kann jedoch ein wirksames Hilfsmittel zur Unterstützung von Ärzten sein, da sie menschenähnliche Antworten geben, komplexe Probleme lösen und klinisch argumentieren kann. Sie ermöglicht eine detaillierte Auswertung der Krankengeschichte eines Patienten. In diesem Stadium ist es jedoch, wie die Studie nahelegt, am besten, die Beteiligung von Menschen vorauszusetzen, anstatt Computer die Ärzte ersetzen zu lassen.
Sehen Sie sich an, wie ChatGPT in unserem direkten Vergleich mit dem beliebten Perplexity-Chatbot abschneidet.