Eine neue Studie in The Lancet, einer der renommiertesten medizinischen Fachzeitschriften der Welt, hat gerade eine unangenehme Nachricht veröffentlicht: Erfahrene Ärzte, die KI zur Erkennung von Darmkrebs eingesetzt hatten, wurden tatsächlich schlechter darin, ihn zu erkennen, wenn die KI nicht verfügbar war. Gerade als dieser Beleg für die Fehlbarkeit des Menschen zutage trat, wurde eine weitere bahnbrechende Studie veröffentlicht, der zufolge OpenAIs Modell der nächsten Generation, GPT-5, bei komplexen medizinischen Schlussfolgerungsaufgaben eine „übermenschliche“ Leistung erzielt und die Ergebnisse ausgebildeter Fachleute deutlich übertroffen hat.
Was stimmt nun? Ist KI ein unverzichtbares Werkzeug, das die Medizin auf neue Höhen hebt, oder eine Krücke, die eine Generation von Ärzten gefährlich abhängig und weniger kompetent machen wird? Die Antwort ist, wie sich herausstellt, kompliziert.
Schließlich legt ein drittes, entscheidendes Forschungspapier nahe, dass die Art und Weise, wie wir die „übermenschlichen“ Fähigkeiten von KI messen, grundlegend fehlerhaft ist und eine Illusion des Fortschritts erzeugt, die erhebliche Risiken verschleiert. Zusammengenommen zeichnen diese Erkenntnisse ein prekäres Bild: Machen wir unsere Ärzte zugunsten einer KI inkompetenter, deren tatsächliche Fähigkeiten wir nicht vollständig verstehen, weil wir beide völlig falsch messen? Schauen wir uns das an.
Hier sind die Details
Polnische Forscher beobachteten 19 erfahrene Ärzte, die jeweils mehr als 2.000 Darmspiegelungen in vier medizinischen Zentren durchgeführt hatten. Das geschah:
- Vor der KI: Die Ärzte fanden bei 28,4 % der Untersuchungen Krebsvorstufen.
- Nach der KI: Wenn sie allein arbeiteten, entdeckten sie nur 22,4 % (ein Rückgang um 6 Punkte).
- Mit eingeschalteter KI: Die Erkennungsrate lag bei 25,3 %.
Die Studie lief von September 2021 bis März 2022 und umfasste 1.443 Untersuchungen ohne Unterstützung durch KI.
Man kann dies gewissermaßen als die erste Studie aus der Praxis bezeichnen, die eine durch medizinische KI verursachte „Verkümmerung von Fähigkeiten“ dokumentiert. Die Forscher nennen dies „Automatisierungsbias“: Die Ärzte waren bei der Arbeit ohne ihren digitalen Helfer weniger motiviert und konzentriert. Wie wir bereits zuvor geschrieben haben, kann man es sich ungefähr so vorstellen, als würde man so lange ein GPS benutzen, bis man sich in seiner eigenen Stadt nicht mehr zurechtfindet.
Fairerweise glauben einige Experten, dass auch Müdigkeit eine Rolle gespielt hat, da die Gesamtzahl der Untersuchungen gestiegen war. Doch das Muster ist eindeutig: Entfernt man die Stützräder, sinkt die Leistung.
Warum das wichtig ist
Selbst ein Rückgang der Krebserkennungsrate um 1 % ist relevant. Diese Studie zeigte einen Rückgang um 6 % … das könnte, wenn sich dieses Muster auf Gesundheitssysteme übertragen lässt, zu Tausenden übersehenen Fällen führen.
KI wird in der Medizin erschreckend gut
Eine neue Studie wurde gerade veröffentlicht, der zufolge GPT-5 menschliche Medizinexperten bei der Diagnose komplexer Fälle mit medizinischen Bildern um 15–29 % übertrifft. Es geht um dieselben Arten visueller Mustererkennung, mit denen die polnischen Ärzte Schwierigkeiten hatten.
Das ist passiert
Forscher an der Emory University School of Medicine machten das beeindruckende Potenzial deutlich. Das Preprint mit dem Titel „Capabilities of GPT-5 on Multimodal Medical Reasoning“ lieferte Belege dafür, dass OpenAIs jüngstes Modell nicht nur so gut wie ein Arzt ist – sondern deutlich besser.
Die Forscher verglichen GPT-5 anhand einer Reihe extrem schwieriger medizinischer Prüfungen mit seinen Vorgängern und menschlichen Experten, darunter die USMLE (United States Medical Licensing Examination) und die hochkomplexe MedXpertQA. Entscheidend ist, dass sie die multimodalen Fähigkeiten testeten – also die Fähigkeit, nicht nur aus Text, sondern aus einer Kombination von Text und Bildern Schlussfolgerungen zu ziehen, etwa wenn ein Arzt die Krankenakte eines Patienten zusammen mit einer CT-Aufnahme betrachtet.
Die Ergebnisse waren schlicht atemberaubend.
- Standardisierte Tests haushoch übertroffen: GPT-5 erzielte 95,8 % in einer Version der MedQA-Prüfung und durchschnittlich 95,2 % bei USMLE-Beispielfragen und übertraf damit die übliche menschliche Bestehensgrenze deutlich.
- Ein Sprung beim multimodalen Schlussfolgern: Die größten Zugewinne zeigten sich bei Aufgaben, die eine Verknüpfung von Text und Bildern erforderten. Beim multimodalen MedXpertQA-Benchmark verbesserte GPT-5 die Leistung von GPT-4o beim Schlussfolgern um geradezu unglaubliche 29 % und beim Verstehen um 26 %.
- Menschliche Experten übertroffen: Die provokanteste Erkenntnis der Studie war der direkte Vergleich mit „menschlichen Experten vor der Approbation“. Während GPT-4o bei den meisten Messwerten tatsächlich schlechter als die Menschen abschnitt, zog GPT-5 an ihnen vorbei. Beim multimodalen Schlussfolgern war es 24,2 % besser und beim multimodalen Verstehen 29,4 % besser als seine menschlichen Gegenstücke.
Eine in der Studie enthaltene Fallstudie demonstrierte diese Leistungsfähigkeit in der Praxis. Bei einem komplexen Fall mit Krankengeschichte, Laborergebnissen und einer CT-Aufnahme des Bauchraums diagnostizierte GPT-5 korrekt eine lebensbedrohliche Perforation der Speiseröhre (Boerhaave-Syndrom), erklärte seine Schlussfolgerung, schloss andere Möglichkeiten aus und empfahl den präzisen, richtigen nächsten Schritt (eine Gastrografin-Schluckuntersuchung). Es agierte wie ein Diagnostiker von Weltrang.
Die Autoren kamen zu dem Schluss, dass GPT-5 einen „qualitativen Wandel“ darstellt – vom mit Menschen vergleichbaren Leistungsniveau von GPT-4 hin zu „klar übermenschlicher Kompetenz“ bei diesen Benchmarks. Diese Erkenntnis liefert eine starke Gegenposition zum Dilemma der schwindenden Fähigkeiten. Wenn KI tatsächlich übermenschlich wird, spielt es vielleicht keine Rolle, wenn die Fähigkeiten der Menschen verkümmern. Warum sollte ein menschlicher Arzt sich noch anhand seines Gedächtnisses orientieren, wenn eine selbstfahrende KI ihn jedes Mal sicherer und effizienter ans Ziel bringen kann?
Und jetzt kommt der verrückte Teil: KI wird gleichzeitig besser als Ärzte und Ärzte werden ohne KI schlechter. Das ist … keine nachhaltige Kombination.
Die Wendung: Messen wir eine Fata Morgana?
Hier nimmt die Geschichte ihre entscheidende Wendung. Ist die „übermenschliche“ Leistung von GPT-5 echt oder ein Artefakt des Tests? Eine dritte wegweisende Studie mit dem Titel „Beyond the Leaderboard: Rethinking Medical Benchmarks for Large Language Models“ legt Letzteres nahe.
Ein Forscherteam stellte „MedCheck“ vor, ein strenges Rahmenwerk zur Bewertung der medizinischen Benchmarks selbst. Es wandte dieses auf 53 bestehende Benchmarks an – genau jene Art, die zum Testen von Modellen wie GPT-5 verwendet wird – und deckte systemische, den gesamten Bereich betreffende Mängel auf. Die Ergebnisse waren eine vernichtende Anklage gegen die aktuelle Bewertungslandschaft.
- Die klinische Diskrepanz: Die Forscher stellten fest, dass die meisten Benchmarks eine „tiefgreifende Diskrepanz zur klinischen Praxis“ aufweisen. Sie stützen sich häufig auf Multiple-Choice-Prüfungsfragen, die zwar Faktenwissen testen, aber nicht das nuancierte, offene Schlussfolgern erfassen, das in einer echten Klinik erforderlich ist. Erstaunliche 53 % der Benchmarks stimmten mit keinem formalen medizinischen Standard wie den weltweit zur Krankheitsklassifizierung verwendeten ICD-Codes überein, und 47 % ignorierten Sicherheit und Fairness bei ihrer Gestaltung vollständig.
- Eine Krise der Datenintegrität: Die Datenqualität, das Fundament jedes Benchmarks, erwies sich als katastrophal. Erschreckende 92 % der Benchmarks gingen nicht angemessen auf das Risiko einer „Datenkontamination“ ein – also die Möglichkeit, dass das Modell die Testfragen bereits in seinen umfangreichen Trainingsdaten gesehen hat und dadurch auswendig gelernt statt tatsächlich geschlussfolgert hat. Das bläht die Ergebnisse auf und erzeugt ein falsches Gefühl des Fortschritts.
- Systematische Vernachlässigung der Sicherheit: Am alarmierendsten ist vielleicht, dass die Benchmarks nicht auf das testeten, was für die Patientensicherheit am wichtigsten ist. Unglaubliche 94 % boten keine Möglichkeit, die Robustheit des Modells zu testen (also seine Leistung bei leicht unvollkommenen oder „verrauschten“ Daten aus der realen Welt), und 96 % bewerteten nicht die Fähigkeit eines Modells, Unsicherheit auszudrücken – zu sagen: „Ich weiß es nicht“, eine entscheidende Fähigkeit jedes sicheren medizinischen Praktikers.
Die MedCheck-Studie argumentiert, dass der Bereich unter einer „Illusion des Fortschritts“ leidet: Modelle werden immer besser darin, fehlerhafte akademische Tests zu bestehen, die nicht die chaotische Realität der Medizin widerspiegeln. Das stellt die „übermenschlichen“ Ergebnisse der GPT-5-Studie grundlegend in einen neuen Kontext. GPT-5 ist bei einem Test wahrscheinlich übermenschlich, doch der Test selbst könnte ein schlechtes Maß für klinische Kompetenz in der Praxis sein.
Das Paradox neu betrachtet
Zusammengenommen ergeben diese drei Studien eine zutiefst beunruhigende Geschichte. Wir haben empirische Belege dafür, dass die Abhängigkeit von KI unsere erfahrenen Ärzte bereits inkompetenter macht (die The Lancet-Studie). Gleichzeitig wird uns gesagt, wir sollten der KI vertrauen, weil sie übermenschlich wird (die GPT-5-Studie). Nun erfahren wir jedoch, dass die eigentliche Definition von „übermenschlich“ auf fehlerhaften, klinisch losgelösten und potenziell kontaminierten Benchmarks beruht, die weder Sicherheit noch Robustheit testen (die MedCheck-Studie).
Das ist das medizinische KI-Paradox. Wir schwächen unsere menschlichen Experten zugunsten einer Technologie, deren Praxistauglichkeit wir mit kaputten Messinstrumenten beurteilen. Wir riskieren, die bewährten, wenn auch unvollkommenen Fähigkeiten eines menschlichen Arztes gegen die Brillanz einer KI auf dem Papier einzutauschen, die zwar eine formidable Testteilnehmerin, aber eine fragile und unzuverlässige klinische Partnerin sein könnte.
Was ist also der Weg nach vorn? Die Lösung besteht nicht darin, KI aufzugeben, sondern grundlegend zu überdenken, wie wir sie integrieren und bewerten.
Das größere Bild? Abgesehen von Darmspiegelungen und GPT-5 verbreiten sich KI-Tools in der Radiologie, Dermatologie und Pathologie. Wenn es auch anderswo zu einem Verlust von Fähigkeiten kommt, könnten wir ein Gesundheitssystem bekommen, das mit KI besser, aber ohne sie gefährlich schlechter ist.
1. Wir müssen die Warnung der Studie zum Verlust von Fähigkeiten ernst nehmen.
Was passiert also in diesem Szenario? Zunächst einmal: mehr KI-Screening. Wenn man das weiterdenkt und die Ärzte unzuverlässiger, die KI-Screener dagegen zuverlässiger werden, werden die Ärzte irgendwann aufhören, Screenings durchzuführen. Denn was nützt eine zweite Meinung als bloßer Gummistempel – „sieht für mich gut aus“ –, wenn die Ärzte ihre Fähigkeit verlieren, solche Dinge zu erkennen?
Alternativ könnten kluge Krankenhäuser einige neue Leitplanken benötigen:
- „KI-aus“-Trainingstage damit die menschlichen Fähigkeiten scharf bleiben.
- Überwachung der Fähigkeiten die die Leistung ohne KI-Unterstützung erfasst, nicht nur die KI-gestützten Ergebnisse.
- Ausfallübungen um sicherzustellen, dass Teams auch bei technischen Ausfällen weiterhin Qualitätsziele erreichen können.
2. Wir müssen das Messproblem beheben.
Die MedCheck-Studie ist ein Aufruf zum Handeln an die gesamte KI-Forschungsgemeinschaft. Wir müssen über statische Multiple-Choice-Ranglisten hinausgehen und dynamische, interaktive Benchmarks entwickeln, die reale klinische Arbeitsabläufe simulieren, Sicherheit und Robustheit priorisieren und auf sauberen, repräsentativen Daten aufbauen.
3. Wir müssen die Rolle des menschlichen Arztes im Zeitalter der KI neu definieren.
Wenn KI uns besser macht, ist das großartig, aber wir dürfen nicht zulassen, dass sie uns hilflos macht. Wir müssen sie also entweder sinnvoll einsetzen, damit unsere Fähigkeiten scharf bleiben, oder den Maschinen Terrain überlassen und unsere menschliche Zeit auf andere Dinge konzentrieren.
Vielleicht könnten menschliche Ärzte, die sonst Diagnosen gestellt hätten, die eingesparte Zeit nutzen, um mit Patienten über Präventionsmaßnahmen zu sprechen, Pläne zur Risikosenkung zu entwickeln oder über frühe Warnzeichen zu sprechen.
Oder die Rolle des Arztes verändert sich noch stärker. Das klingt eher nach Science-Fiction, aber vielleicht ist das Endspiel keine Maschine, die den Diagnostiker ersetzt, sondern ein Arzt, der zu einem hochentwickelten „KI-Operator“ wird – geschult darin, die KI gezielt anzuleiten, ihre Vorschläge zu interpretieren und zu überstimmen. Er wird zum Manager der Unsicherheit und navigiert durch die Grauzonen, in denen die Daten unübersichtlich und die KI unsicher ist. Und indem er Routineaufgaben an die Automatisierung abgibt, kann er seine Zeit wieder in die einzigartig menschlichen Aspekte der Medizin investieren: Kommunikation mit Patienten, Empathie und die Konzentration auf Prävention – ein Bereich, in den das US-Gesundheitssystem trotz jährlicher Ausgaben von 4,9 Billionen US-Dollar gerade einmal 3 % investiert.
Das Potenzial von KI in der Medizin bleibt enorm, doch wir befinden uns an einem entscheidenden und gefährlichen Wendepunkt. Bevor wir einen „übermenschlichen“ Partner vollständig annehmen, müssen wir zunächst sicherstellen, dass er uns nicht schwächer macht, und wir müssen uns absolut sicher sein, dass wir seine Leistungsfähigkeit mit einem Maßstab messen, der die Realität widerspiegelt.
Anmerkung der Redaktion: Dieser Inhalt erschien ursprünglich in unserer Schwesterpublikation The Neuron. Mehr von The Neuron lesen: Hier für den Newsletter anmelden.