ChatGPT ersetzt keine Ärzte – aber vielleicht ist es der paranoide Freund, den du um 2 Uhr nachts brauchst

ChatGPT als Arzt?

Das musst du lesen: Ein Reddit-Nutzer schreibt ChatGPT gerade zu vermutlich das Leben seiner Frau gerettet zu haben.

Nach der Entfernung einer Zyste fühlte sie sich fiebrig, sagte ihm aber, sie wolle „abwarten“.

Der Ehemann gab alle Details beiläufig in ChatGPT ein (wie er es oft tat) und war überrascht, als die KI ihnen dringend riet, sofort in die Notaufnahme zu fahren.

Er sagte, GPT sei normalerweise viel entspannter, daher sei die Dringlichkeit etwas schockierend gewesen.

Und jetzt kommt’s: Die KI hatte recht.

Sie hatte eine Sepsis entwickelt.

Natürlich überschlugen sich die Kommentare mit ähnlichen Geschichten

über KI, die Blutgerinnsel entdeckt, Gallenblasenprobleme diagnostiziert und sogar seltene Erkrankungen erkennt, an denen 17 verschiedene Ärzte gescheitert waren. Es war ehrlich gesagt irgendwie unglaublich zu lesen?? Und mit unglaublich meinen wir: schon ein biiisschen schwer zu glauben.

Außerdem sollten wir, bevor wir weitermachen, der Vollständigkeit halber festhalten: 

Das alles ist keine medizinische Beratung und sollte auch nicht als Empfehlung verstanden werden, KI für die eigene Gesundheitsversorgung einzusetzen. Außerdem solltest du wahrscheinlich nachlesen, wie KI-Unternehmen deine Daten aufbewahren und deine Chats möglicherweise nicht löschen, obwohl sie das behaupten.

Bevor du ChatGPT jetzt also zu deinem neuen Hausarzt erklärst, hör dir das an:

Eine große neue Oxford-Studie mit ~1.300 Teilnehmern offenbarte eine wichtige Wahrheit über medizinische Ratschläge von KI: Menschen, die KI-Chatbots nutzen, schnitten schlechter ab als diejenigen, die einfach Google verwendeten.

In der Oxford-Studie wurden GPT-4o, Llama 3 und Command R+ anhand medizinischer Szenarien mit echten Menschen getestet.

Das kam dabei heraus

Wenn die KIs allein arbeiteten, erzielten sie bei der Erkennung von Krankheiten eine Genauigkeit von 90–99 %.

Wurden sie jedoch mit Menschen kombiniert, konnten die Nutzer relevante Erkrankungen nur in 34,5 % der Fälleerkennen – deutlich schlechter als die 47 %, die Menschen erzielten, die einfach Google und ihr eigenes Wissen nutzten.

Der Grund? Nutzer liefern unvollständige Informationen, können gute von schlechten KI-Vorschlägen nicht unterscheiden und ignorieren sogar richtige Empfehlungen, wenn die KI richtigliegt.

Die Oxford-Studie legt einen entscheidenden Fehler bei unserer Bewertung von KI offen

Standardisierte medizinische Benchmarks zeigten eine Genauigkeit von über 80 %, während die Leistung in der Praxis mit derselben KI in manchen Fällen unter 20 % lag.

Die KIs, die im Alleingang eine Genauigkeit von 99 % erreichten, versagten vollständig, als echte Menschen sie zu nutzen versuchten.

Eine weitere umfassende Meta-Analyse aus dem Jahr 2025 zu 83 Studien ergab dass generative KI-Modelle insgesamt eine diagnostische Genauigkeit von nur 52,1 % aufweisen – nicht besser als Ärzte ohne Fachexpertise, aber deutlich schlechter als Fachärzte.

‍Die Daten zur medizinischen Genauigkeit von ChatGPT sind völlig uneinheitlich… von 49 % Genauigkeit in einer Studie bis hin zu einer besseren Leistung als Ärzte in der Notaufnahme in einer anderen.

Die Oxford-Arbeit wies jedoch darauf hin, dass das eigentliche Problem nicht medizinisches Wissen ist – sondern der Umgang mit Menschen.

Wie es ein medizinischer Experte formulierte: „LLMs verfügen über das Wissen, aber ihnen fehlen soziale Kompetenzen.“

In gewisser Hinsicht ist der Engpass nicht die medizinische Expertise, sondern das Design der Mensch-Computer-Interaktion.

Die Menschen nutzen ChatGPT bereits als „Triage-Tool an vorderster Front“ und werden erst aktiv, wenn die KI sagt: „Sofort zum Arzt.“ Doch normale Menschen ohne medizinische Ausbildung haben Schwierigkeiten, sich effektiv auszudrücken – selbst bei fiktiven Szenarien, in denen sie keinen Grund haben zu lügen oder Informationen zurückzuhalten.

Das entspricht allgemeineren Mustern bei der KI-Entwicklung. Vor zwei Jahren wurde „Prompt Engineering“ in Technologieunternehmen groß gehypt, verschwand dann aber wieder, als sich die Modelle an typische Nutzerfragen anpassten.

Auf medizinische Gespräche mit Laien hat sich das jedoch nicht übertragen, weil Anweisungen nach dem Muster „manchmal X tun“ scheitern, wenn die Bedingungen unklar sind.

Wie sieht es mit Reasoning-Modellen aus (o1, o3 usw.)?

Neuere Studien zu Modellen wie GPT-4o und ChatGPT o1 zeigen eine bessere Leistung. Dabei erzielten neuere Modelle bei den führenden Diagnosen eine Genauigkeit von 60 %, verglichen mit 47,8 % bei GPT-3.5.

Damit ist eine Studie aus der Notaufnahme vom März 2025 gemeint, in der verschiedene ChatGPT-Modelle anhand von 30 echten Patientenfällen getestet wurden. Dabei schnitten neuere Modelle wie GPT-4o und o1 deutlich besser ab als ältere Versionen; beide erreichten bei der Erkennung der führenden Diagnosen eine Genauigkeit von 60 %.

Interessanterweise verbesserte die Aufforderung, ihre Schlussfolgerungen zu erklären, die Leistung der GPT-4o-Modelle – in manchen Fällen stieg die Genauigkeit von 45,6 % auf 56,7 %. Bei den o1-Modellen hatte sie dagegen nur minimale Auswirkungen. Das deutet darauf hin, dass neuere, auf Schlussfolgerungen ausgerichtete Modelle diesen Schritt bereits intern integrieren.

In einer separaten Studie zu Lungenentzündung vom Juni 2025 wurden drei KI-Modelle anhand von 50 lungenentzündungsspezifischen Fragen bewertet. OpenAI o1 erzielte die höchsten Genauigkeitswerte, gefolgt von o3 mini, während ChatGPT-4o am schlechtesten abschnitt.

Entscheidend ist, dass die beiden Chain-of-Thought-Modelle (o1 und o3 mini) robuste Fähigkeiten zur Selbstkorrektur zeigten: Wenn Spezialisten für Infektionskrankheiten Fehler markierten, verbesserten diese Modelle ihre Antworten deutlich, während ChatGPT-4o sich durch erneute Eingabeaufforderungen kaum verbesserte.

Trotz dieser Verbesserungen sind wir noch nicht auf dem für unbeaufsichtigte medizinische Beratung erforderlichen Zuverlässigkeitsniveau.

Doch all diese Studien zeigen dasselbe Muster: KI-Modelle werden besser im medizinischen Schlussfolgern, aber die Interaktion zwischen Mensch und KI bleibt der entscheidende Engpass für den Einsatz in der Praxis.

Apropos: Fans von WebMD sind nicht die Einzigen, die KI nutzen.

Auf der anderen Seite verfügen offenbar auch Ärzte selbst über erstaunliche KI-Tools. Das Start-up OpenEvidence – eine KI-Diagnoseplattform, die von etwa 25 % aller US-Ärzte genutzt wird – wurde ausschließlich anhand von begutachteter medizinischer Fachliteratur trainiert und arbeitet mit Zeitschriften wie NEJM und JAMA (zusammen. Hier ist eine coole Demo). Diese Ärzte greifen offenbar durchschnittlich zehnmal am Tag darauf zu, um bei komplexen Fällen zu helfen, insbesondere in der Onkologie.

OpenEvidence hat bereits 100 Millionen US-Dollar eingesammelt bei einer Bewertung von 3 Milliarden US-Dollar und sogar einen Konkurrenten verklagt – angeblich, weil dieser sich als Ärzte ausgab, um Zugriff auf die proprietären Algorithmen des Unternehmens zu erhalten. Daran erkennt man, dass das Tool gut ist.

Unterdessen nutzen einige Krankenhäuser (wie Johns Hopkins) KI, um das Sepsisrisiko vorherzusagen… genau das, wofür ChatGPT dem Ehemann geraten hatte, seine Frau ins Krankenhaus zu bringen.

Dann gibt es noch Ellipsis Health, das gerade 45 Millionen US-Dollar eingesammelt hat für „Sage“, eine KI, die vollständig autonome Anrufe zur Versorgungskoordination mit Patienten führt – von der Anmeldung zu einem Programm bis zu Nachsorgekontakten nach der Entlassung, ganz ohne menschliche Aufsicht.

Und wir haben bereits über Abridge und Microsoft geschrieben – im Wettlauf um KI-gestützte Notizen für Ärzte sind sie im Wesentlichen die beiden Spitzenreiter. In den vergangenen Wochen erhielten jedoch zwei Konkurrenten zusätzliche Finanzierung:

• Commure verfasst deine medizinischen Notizen und erledigt nach jedem Patientenbesuch automatisch den Versicherungspapierkram (200 Millionen US-Dollar eingesammelt). 
• Nabla hört deine Patientengespräche mit und verfasst in fünf Sekunden automatisch deine medizinischen Notizen (70 Millionen US-Dollar eingesammelt).

Die Risikokapitalgeber sehen natürlich, dass mit zunehmender Verbreitung Geld zu verdienen ist.

Und natürlich hast du gesehen, wie KI zur Diagnose aller möglichen Krankheiten und Störungen eingesetzt wurde (hier ist ein Versuch von o3 Pro, eine definitive Liste zu erstellen).

Eine Patientin beobachtete sogar, wie ihre Dermatologin mit ChatGPT auf ihrem Handy Wechselwirkungen zwischen Medikamenten überprüfte – während des Termins.

Nicht vergessen: Ärzte wollen der KI nicht zu 100 % vertrauen (und das völlig zu Recht). Im Februar wünschten sich 47 % der Ärzte eine stärkere FDA-Aufsicht über medizinische KI-Geräte, während Forscher warnen davor, dass „viele Krankenhäuser KI-Tools ‚von der Stange‘ kaufen, ohne sie vor Ort zu validieren“, was „ein Rezept für eine Katastrophe“ sei.

Die Verbreitung nimmt also zu – und die Skepsis ebenfalls.

Warum greifen Menschen also für ihre medizinischen Bedürfnisse auf KI zurück?

Weil Amerikaner sich vor allem einen leichteren Zugang zur Gesundheitsversorgung wünschen.

Menschen in den USA wollen nicht zum Arzt gehen, selbst nicht zu Vorsorgeuntersuchungen – entweder weil es zu teuer ist, die Kosten nicht von der Versicherung übernommen werden oder sie oft monatelang auf einen Termin warten müssen.

Und fang gar nicht erst mit der absurd lächerlichen Tortur an, in einer neuen Stadt einen neuen Arzt zu finden, der auch „im Netzwerk“ ist. Entweder suchst du Namen aus einer Liste heraus (schrecklich), durchforstest „Arztbewertungsseiten“ (wer schreibt da überhaupt??) oder tippst „bester Arzt blue shield 90210 +reddit“ ein, um irgendwie eine Richtung zu finden.

Also ja, offensichtlich wenden sich die Menschen an unregulierte Verbraucher-Chatbots, weil diese leicht verfügbar sind.

Auch die dialogorientierte Benutzeroberfläche macht einen großen Unterschied.

Anstelle der langen Symptomlisten von WebMD oder Mayo Clinic, die irgendwie immer auf „du bist gesund“ oder „Tod“, kann man tatsächlich beschreiben, was man fühlt, und erhält eine nuancierte Antwort.

„Ich habe Kopfschmerzen, mir ist aber auch übel und meine Sicht scheint beeinträchtigt zu sein“ wirkt anders, als Kästchen in einem Symptomchecker anzukreuzen oder in einer endlosen WebMD-Doomscroll-Schleife zwischen Symptomen und möglichen Ursachen hin- und herzuspringen.

Daher wirken die Antworten von GPT vertrauenswürdiger, weil sie stärker personalisiert sind.

Der eigentliche Wert einer Chatbot-ähnlichen Oberfläche liegt nicht in der KI-Diagnose (wohlgemerkt: Das ist der gefährliche Teil). Es geht darum, dass KI dabei hilft, jene sehr menschliche Tendenz zu überwinden, Symptome herunterzuspielen, obwohl man unbedingt einen Arzt aufsuchen sollte.

Aber weil wir nicht wissen, was wir nicht wissen (wir sind nun einmal keine Ärzte), und nicht alles mitteilen, was relevant sein könnte (weil wir nicht dazu aufgefordert werden und nicht so gründlich sind wie Tech-Mitarbeiter, die für „QA“-Zwecke naturgemäß alle möglicherweise relevanten Informationen „übermelden“), erhalten wir nicht die genaueste Hilfe, die wir bekommen könnten.

Tatsächlich haben wir heute früher gelesen, dass manche Menschen der KI nur ein bis zwei Sätze Kontext geben und erwarten, dass sie daraus vollständig markenkonforme Marketingmaterialien erstellt – von akkurater Gesundheitsberatung ganz zu schweigen.

Profi-Tipp: Nutzt KI nicht wie Google. Nutzt sie wie ein Memo oder Projektbriefing, das ihr für einen Kollegen verfassen würdet, um ihm zu erklären, wie er eure Arbeit erledigt.

‍Deshalb ist es gefährlich, sich bei Gesundheitsratschlägen auf ChatGPT zu verlassen

Laut der Oxford-Studie ist die derzeitige direkte Interaktion zwischen KI und Patienten grundlegend defekt: Menschen können nicht effektiv mit KI-Systemen kommunizieren, KI-Vorschläge nicht bewerten und ignorieren häufig korrekte Ratschläge. Wenn sie sich also an GPT wenden, schaffen sie genau das gefährliche Szenario, das die Forscher mit der Veröffentlichung dieser Daten vermeiden wollen.

Stattdessen betonen medizinische Experten, dass „KI ausschließlich als Werkzeug betrachtet werden sollte, das Ärzte bei ihren Entscheidungsprozessen unterstützt, die stets unter menschlicher Kontrolle und Aufsicht stehen müssen.“

Sie wollen, dass die KI der Robin zum Batman des Arztes wird – ein hilfreicher Sidekick, nicht der Held. Der Arzt sollte immer am Steuer sitzen; die KI hilft lediglich bei der Navigation.

Die Oxford-Forscher empfehlen außerdem „systematische Tests mit menschlichen Nutzern, um die interaktiven Fähigkeiten vor öffentlichen Einsätzen im Gesundheitswesen zu bewerten.”

Das sollte eigentlich selbstverständlich sein, ist es aber offenbar nicht: Bevor man ein medizinisches KI-Tool in die freie Wildbahn entlässt, sollte man es vielleicht zuerst mit echten Menschen testen?

Nicht in einem Labor mit technikaffinen Forschern, sondern mit dem Durchschnittsmenschen, der um 2 Uhr morgens „warum kopf schmerzt“ in Google eingibt. Man sollte prüfen, ob normale Menschen das Ding tatsächlich bedienen können, und es darauf trainieren, wirklich das zu tun, was ein Arzt oder eine Pflegekraft tun würde.

Es gibt außerdem eine Wissenslücke, die selbst eine perfekte KI nicht überbrücken kann: Ärzte verfügen über lokales, kontextbezogenes Wissen – sie erkennen beispielsweise, wenn sie „diesen Monat bereits zwei Dutzend andere Kinder mit derselben Erkrankung gesehen haben“ –, das kein allgemeines KI-System nachbilden kann.

Was wir also wirklich brauchen, ist eine Art von Ärzten überwachtes KI-Triage-Portal …

Vielleicht eines, bei dem jedes Patientengespräch von einem Arzt überprüft wird, bevor die endgültige Diagnose angezeigt wird. Man stelle sich eine medizinische KI auf dem Niveau von OpenEvidence vor, aber für Verbraucher konzipiert und durch die Aufsicht echter Ärzte abgesichert.

Das ideale System würde die rund um die Uhr bestehende Verfügbarkeit und die dialogorientierte Oberfläche der KI mit einer verpflichtenden ärztlichen Aufsicht über jede Interaktion verbinden.

Warum gibt es das noch nicht?? Start-ups und VCs, kümmert euch darum!!

Ach, und es muss sich so leicht bedienen lassen wie ChatGPT und kostenlos und/oder von der Versicherung übernommen werden, damit die Menschen es tatsächlich nutzen.

Zum Glück vermitteln uns Studien wie die aus Oxford auch wichtige Erkenntnisse über Fehler beim KI-Design:

Beispielsweise könnte es kontraproduktiv sein, Nutzern mehrere Diagnosen zur Auswahl anzubieten, da Laien medizinische Vorschläge nicht korrekt bewerten können.

Oder dass eine KI Informationen proaktiver ermitteln muss, anstatt darauf zu warten, dass Nutzer Details freiwillig mitteilen.

Das Problem? Krankenhäuser fassen nichts an, was das Risiko von Kunstfehlerklagen erhöht …

… selbst wenn es Patienten helfen könnte. Statt der sicheren, verantwortungsvollen Version wenden sich die Menschen also an das gute alte GPT.

Warum ist das eigentlich so? Nun, die Rechtslage ist ein einziges Chaos. Derzeit unterliegen Ärzte, Gesundheitssysteme und Algorithmusentwickler unterschiedlichen, sich überschneidenden Haftungstheorien, wodurch ein Experte das rechtliche Terrain als „ziemlich ungeklärt“ bezeichnete. Die Haftungstheorien sind völlig uneinheitlich – Arzthaftung, vicarious liability (bei der das Krankenhaus für die KI haftet, die „als Mitarbeiter agiert“), und Produkthaftung für die KI-Hersteller.

Trotz ihrer jüngsten Fortschritte wird KI in den meisten Fällen als Werkzeug für Ratschläge eingesetzt, nicht zur Entscheidungsfindung. Das bedeutet, ein Patient könnte möglicherweise einen Arzt verklagen – wegen eines Kunstfehlers oder Fahrlässigkeit –, wenn der Anbieter eine falsche Behandlungsentscheidung trifft, selbst wenn diese von einem KI-System vorgeschlagen wurde. Ärzte sitzen zwischen den Stühlen: Sie setzen KI ein und riskieren bei einem Fehler Haftung, oder sie setzen sie nicht ein und riskieren Haftung, weil sie verfügbare Technologie nicht genutzt haben.

Und sobald eine KI sehr präzise angibt, was bei einem Patienten zu tun ist, und die Informationen mit hoher Wahrscheinlichkeit korrekt sind, wird es für einen Arzt sehr schwierig, die KI zu konsultieren und die Informationen anschließend zu verwerfen – denn wenn etwas schiefgeht, könnte diese Entscheidung vor Gericht auf sie zurückfallen. Das ist wirklich ein klassisches Dilemma!

Einige Bundesstaaten haben „Safe-Harbor“-Regelungen vorgeschlagen, die Ärzte schützen würden, wenn sie sich an KI-Richtlinien halten. Doch solche Gesetze hätten in Oregon nur bei 1 % der 266 überprüften Klagen den Haftungsausgang zugunsten des beklagten Arztes verändert. Nicht gerade eine Revolution.

Forscher aus Stanford stellten fest, dass Anwälte dazu neigen, Gesundheitsdienstleistern sehr konservative Ratschläge zu geben ( – eine Überraschung, ich weiß –, und KI-Tools nicht unbedingt zu verbieten, ihre Mandanten jedoch nachdrücklich zu warnen vor den Haftungsrisiken von KI im Allgemeinen.

Übersetzt: Rechtsabteilungen sind von möglichen Klagen so verängstigt, dass sie Tools blockieren, die Leben retten könnten. Da stellt sich die Frage: Vermeiden wir die Lösung, die wir tatsächlich brauchen, nur weil wir Angst haben, verklagt zu werden?

Die Menschen fragen ChatGPT (ausgerechnet!) um Rat in Fragen von Leben und Tod, verdammt noch mal. Mit ein paar angemessenen Leitplanken und einigen qualifizierten Menschen in der Schleife wird das schon klappen!!**

Das ist tatsächlich ein riesiges, wichtiges Problem, das gelöst werden muss, und politische Entscheidungsträger, Rechtsexperten und Angehörige der Gesundheitsberufe müssen wahrscheinlich gemeinsam einen Rahmen schaffen, der den sicheren und effektiven Einsatz von KI fördert.

Im Rahmen dieser Arbeit müssen sie sich mit Haftungsfragen befassen … aber manche argumentieren, dass sie auch anerkennen müssen dass die Risiken, KI nicht zur Verbesserung der Versorgung einzusetzen, die von der Technologie selbst ausgehenden Gefahren bei Weitem überwiegen könnten.

Denkt darüber nach: Jährlich sterben 371.000 US-Amerikaner an Fehldiagnosen, weitere 250.000 pro Jahr an vermeidbaren medizinischen Fehlern. Doch Krankenhäuser haben solche Angst vor der Haftung für KI, dass sie am Status quo festhalten, der buchstäblich Menschenleben kostet.

Was bedeutet das also in der Praxis?

Die Gesundheitsbranche ist grundsätzlich risikoscheu (und völlig zu Recht – schließlich geht es buchstäblich um Leben und Tod), weshalb Gesundheitssysteme KI in klinischen Bereichen schrittweise vorantreiben.

Während die operativen Anwendungen von KI weiter zunehmen, werden Krankenhäuser bei klinischen Einsatzszenarien aufgrund der sensiblen Natur der Patientenversorgung vorsichtig bleiben.

Sobald jedoch ein rechtlicher Rahmen geschaffen ist, die Genauigkeit gewährleistet, der Datenschutz gesichert und eine angemessene Nutzeraufnahme mit einer klinisch qualifizierten Überprüfung in das System integriert werden kann, kann und sollte Patienten rund um die Uhr ein KI-Arztsystem auf Abruf zur Verfügung stehen. Die einzige Frage ist: Wer wird es bauen?

**Keine Rechts- oder Gesundheitsberatung: nur die grummelige alte Meinung von jemandem, der das derzeitige System satt hat, alles klar, tschüss!

Anmerkung der Redaktion: Dieser Inhalt erschien ursprünglich in unserer Schwesterpublikation, The Neuron. Mehr von The Neuron gibt es hier: Hier für den Newsletter anmelden.