Wenn ein Suchergebnis allmählich wie eine Diagnose klingt, ändern sich die Konsequenzen schnell.
Googles KI-Übersichten stehen in der Kritik, nachdem Experten gewarnt haben, dass das Tool irreführende Gesundheitsinformationen anzeigt, die Patienten gefährden könnten.
Laut einer Untersuchung des Guardian haben die generativen KI-Zusammenfassungen, die oben in der Google-Suche angezeigt werden, zu Gesundheitsthemen ungenaue und potenziell schädliche medizinische Ratschläge geliefert. Das schürt neue Bedenken hinsichtlich des Vertrauens in KI-generierte Gesundheitsantworten, wenn Nutzer besonders verletzlich sind.
Auf den ersten Blick hilfreich, im Detail schädlich
Googles KI-Übersichten stehen über den herkömmlichen Suchergebnissen und präsentieren kurze Zusammenfassungen, die eher wie medizinische Ratschläge als wie allgemeine Informationen wirken können. Gesundheitsexperten warnen, dass die prominente Platzierung fehlerhafter Zusammenfassungen deren Konsequenzen verschärfen kann.
Ein von Gesundheitsorganisationen genanntes Beispiel zeigte, dass Google Menschen mit Bauchspeicheldrüsenkrebs riet, fettreiche Lebensmittel zu meiden. Anna Jewell, Leiterin der Abteilungen für Unterstützung, Forschung und Interessenvertretung bei Pancreatic Cancer UK, sagte, der Ratschlag sei falsch und könne dazu führen, dass Patienten zu schwach für eine Chemotherapie oder Operation seien.
„Wenn jemand dem folgte, was das Suchergebnis ihm sagte, würde er möglicherweise nicht genügend Kalorien aufnehmen, Schwierigkeiten haben, an Gewicht zuzulegen, und eine potenziell lebensrettende Behandlung nicht vertragen“, sagte Jewell.
Andere Zusammenfassungen vereinfachten diagnostische Informationen zu stark. Suchen zu Bluttests der Leber lieferten „normale“ Referenzbereiche, ohne Faktoren wie Alter oder Geschlecht zu berücksichtigen. Pamela Healy, Geschäftsführerin des British Liver Trust, warnte, dies könne Menschen mit einer schweren Lebererkrankung fälschlich beruhigen und die notwendige weitere Behandlung verzögern.
Auch Gesundheitssuchen von Frauen gaben Anlass zu ähnlichen Bedenken. Eine Suchanfrage zu Vaginalkrebs führte fälschlicherweise einen Pap-Test als Diagnoseinstrument auf. Athena Lamnisos, Geschäftsführerin von The Eve Appeal, sagte, der Fehler könne dazu führen, dass Menschen Beschwerden nach einem unauffälligen Zervix-Screening-Ergebnis abtun und dadurch die Diagnose eines seltenen, aber schweren Krebses verzögern.
Wie KI-Zusammenfassungen das Verhalten von Patienten verändern können
Gesundheitsorganisationen zufolge liegt die größere Sorge darin, wie Menschen nach dem Lesen dieser Zusammenfassungen reagieren. Klare, selbstsichere Antworten können die Distanz zwischen einer Suche und einer gesundheitlichen Entscheidung verkürzen – insbesondere, wenn Nutzer verängstigt oder krank sind oder für jemand anderen handeln.
Stephanie Parker, Leiterin des Digitalbereichs bei der Sterbebegleitungsorganisation Marie Curie, verweist auf den emotionalen Kontext vieler Gesundheitssuchen. „Menschen wenden sich in Momenten der Sorge und Krise an das Internet“, sagte sie und warnte, dass ungenaue Informationen oder Informationen, denen der Kontext fehlt, „ihrer Gesundheit ernsthaft schaden“ können.
Für Organisationen, die sich auf Standards für Patienteninformationen konzentrieren, ist Vertrauen der zentrale Punkt. Sophie Randall, Leiterin des Patient Information Forum, sagte, die Platzierung KI-generierter Zusammenfassungen erhöhe die Wahrscheinlichkeit, dass diese als endgültig statt als vorläufig betrachtet würden.
„Die Beispiele zeigen, dass Googles KI-Übersichten ungenaue Gesundheitsinformationen an die Spitze von Online-Suchen setzen können“, sagte Randall und fügte hinzu, dass diese Platzierung das Risiko erhöhe, dass Menschen aufgrund des Gesehenen handeln, statt Ärzte zu konsultieren oder Nachsorgetermine wahrzunehmen.
„Sehr gefährliche Ratschläge“
Der Guardian stellte fest, dass KI-Übersichten Zusammenfassungen zu Erkrankungen wie Psychosen und Essstörungen lieferten, denen Experten zufolge wesentlicher Kontext fehlte.
Stephen Buckley, Leiter der Informationsabteilung der Organisation für psychische Gesundheit Mind, sagte, einige der KI-generierten Zusammenfassungen enthielten „sehr gefährliche Ratschläge“ oder seien „falsch und schädlich beziehungsweise könnten dazu führen, dass Menschen keine Hilfe suchen“. In anderen Fällen ließen die Antworten den für die Erörterung schwerer psychischer Erkrankungen entscheidenden Kontext weg.
Buckley sagte außerdem, einige Zusammenfassungen hätten Nutzer zu ungeeigneten Quellen geleitet oder Informationen auf eine Weise dargestellt, die Vorurteile oder stigmatisierende Narrative verstärken könnte. Bei Suchen zur psychischen Gesundheit, warnte er, können selbst kleine Auslassungen beeinflussen, ob jemand professionelle Hilfe sucht oder sich überhaupt gegen Hilfe entscheidet.
Google bestreitet das Ausmaß des Problems
Google zufolge liefern die allermeisten KI-Übersichten korrekte und hilfreiche Informationen. Ein Google-Sprecher sagte, viele der hervorgehobenen Beispiele beruhten auf unvollständigen Screenshots und die Zusammenfassungen hätten, soweit das Unternehmen sie prüfen konnte, auf „bekannte, seriöse Quellen“ verlinkt und Nutzer dazu ermutigt, fachkundigen Rat einzuholen.
Der Technologiekonzern sagte außerdem, die Genauigkeit der KI-Übersichten sei mit der langjährigen Suchfunktion der hervorgehobenen Snippets vergleichbar, und verwies darauf, dass er erheblich in Qualitätskontrollen investiere, insbesondere bei Gesundheitsthemen. Wenn Zusammenfassungen Inhalte falsch interpretierten oder den Kontext verfehlten, ergreife Google nach eigenen Angaben Maßnahmen im Rahmen seiner bestehenden Richtlinien.
Die Suche ist seit Langem ein Zugang zu medizinischen Informationen, doch KI-Zusammenfassungen verändern, wie intensiv Nutzer nach Antworten suchen. Gesundheitsexperten warnen, dass weniger Klicks und schnellere Schlussfolgerungen ihren Preis haben können, wenn es besonders auf den Kontext ankommt.
Während Technologieunternehmen überdenken, wie Menschen mit KI interagieren, bereitet OpenAI ein sprachgesteuertes Gerät vor das KI von Bildschirmen weg und in den alltäglichen Höralltag bringen könnte.