Warum reproduzierbare Analysen für KI im Gesundheitswesen und in den Life Sciences entscheidend sind

Der Einsatz von KI im Gesundheitswesen und in den Life Sciences nimmt rasant zu und treibt Fortschritte in der klinischen Forschung, Diagnostik und bei Betriebsabläufen voran. Mit der zunehmenden Reife dieser Technologien verzeichnet die wissenschaftliche Gemeinschaft deutliche Effizienz- und Innovationsgewinne.

Trotz immer ausgefeilterer Modelle bleibt die Reproduzierbarkeit für viele Organisationen jedoch eine Herausforderung. In stark regulierten Umgebungen sind reproduzierbare Analysen unerlässlich, um echtes Vertrauen und Skalierbarkeit zu erreichen und sicherzustellen, dass Ergebnisse über die Zeit hinweg validiert und als verlässlich eingestuft werden können.

KI im Gesundheitswesen wächst rasant, aber es gibt einen Haken

Während KI in vielen Technologiesektoren breite Anwendung gefunden hat, hat sich auch ihre Integration in das Gesundheitswesen deutlich beschleunigt. Organisationen im Gesundheitswesen und in den Life Sciences investieren massiv in KI , um die klinische Forschung, Diagnostik und operative Analysen zu unterstützen.

Im vergangenen Jahr veröffentlichte die National Academies of Sciences, Engineering, and Medicine (NASEM) einen neuen Bericht mit Empfehlungen dazu, wie die USA die Vorteile künstlicher Intelligenz in der Biotechnologie nutzen können. Darin wird erläutert, wie KI-Modelle große Datenmengen analysieren könnten, um sowohl die Arzneimittelentwicklung zu unterstützen als auch Gesundheitsgefahren einzudämmen.

Der gleiche Trend zeigt sich im Krankenhausumfeld. Laut der American Medical Association gaben 66 % der Ärztinnen und Ärzte an, KI-Tools zu nutzen – gegenüber 38 % im Jahr 2023. Zu den häufigsten Anwendungsfällen zählen Unterstützung bei der Dokumentation, Erstellung von Notizen, Entlassungsanweisungen, Pflegeplanung und patientenorientierte Tools.

Eine stärkere Nutzung führt jedoch nicht automatisch zu erfolgreichen Ergebnissen. Organisationen stehen weiterhin vor der Herausforderung, KI-Modelle effektiv einzusetzen und ihren versprochenen Nutzen kontinuierlich zu realisieren. Ein wesentlicher Grund für diese Lücke ist die Reproduzierbarkeit. Ohne die Möglichkeit, Ergebnisse team- und umgebungsübergreifend zuverlässig nachzubilden, können selbst gut konzipierte Modelle in realen Einsatzszenarien hinter den Erwartungen zurückbleiben.

Im Jahr 2016 veröffentlichte das Wissenschaftsjournal Nature eine Studie , der zufolge mehr als 70 % der Forschenden versucht hatten, die Ergebnisse einer anderen Wissenschaftlerin oder eines anderen Wissenschaftlers zu reproduzieren, dabei jedoch gescheitert waren. Die Umfrage ergab außerdem, dass 52 % der Befragten von einer „signifikanten“ Reproduzierbarkeitskrise ausgingen.

Neuere Forschungen haben diese Ergebnisse bestätigt , insbesondere im Bereich der Biomedizin. In einer weltweiten Befragung von 1.630 biomedizinischen Forschenden, darunter 819 in der klinischen Forschung Tätige, stimmten 72 % der Befragten zu, dass sich das Fachgebiet in einer Reproduzierbarkeitskrise befindet.

Auch wenn diese Zahlen möglicherweise nicht jede Organisation in den Life Sciences repräsentieren, machen sie deutlich, dass die Reproduzierbarkeit in der wissenschaftlichen Forschung eine anhaltende Herausforderung darstellt – eine Herausforderung, die mit der Integration von KI in diese Arbeitsabläufe noch wichtiger wird.

Wenn die Reproduzierbarkeit auf der Strecke bleibt

Reproduzierbare Analysen beziehungsweise Reproduzierbarkeit bezeichnen die Fähigkeit, dieselben Ergebnisse einer Studie mithilfe derselben Daten, desselben Codes und derselben Umgebung nachzubilden – auch wenn die Studie von einem anderen Team durchgeführt wird. Obwohl Reproduzierbarkeit ein grundlegendes Prinzip in Wissenschaft und Forschung ist, bleibt sie oft eher ein Ideal als Realität. Viele Organisationen arbeiten mit fragmentierten Data-Science-Workflows, was sowohl die Bereitstellung als auch die Zusammenarbeit verlangsamen kann.

In der Praxis scheitert die Reproduzierbarkeit aus mehreren wesentlichen Gründen:

• Teams arbeiten getrennt in den R- und Python-Ökosystemen
• Starke Abhängigkeit von Notebooks und Ad-hoc-Workflows
• Uneinheitlichkeiten bei Abhängigkeiten und Umgebungen

Diese Herausforderungen erschweren die konsistente Reproduktion von Ergebnissen, insbesondere über verschiedene Teams und Zeiträume hinweg. In regulierten wissenschaftlichen und klinischen Umgebungen kann dies die Forschungs- und Entwicklungsarbeit beeinträchtigen und die Glaubwürdigkeit der Ergebnisse eines Teams mindern. Ohne standardisierte Umgebungen und ein ordnungsgemäßes Abhängigkeitsmanagement lassen sich Ergebnisse nur schwer reproduzieren. Dadurch entstehen Risiken für die regulatorische Validierung, die Begutachtung durch Fachkolleginnen und -kollegen sowie die langfristige Kontinuität der Forschung.

KI verschärft diese Herausforderung. Werden Modelle auf nicht reproduzierbare Workflows aufgesetzt, nehmen die Inkonsistenzen gemeinsam mit ihnen zu, was die Zuverlässigkeit und Wirkung KI-gestützter Erkenntnisse begrenzt.

Warum die Reproduzierbarkeit von KI in klinischen und wissenschaftlichen Workflows unverzichtbar ist

In den Life Sciences ist Reproduzierbarkeit wichtiger denn je. Wie NASEM feststellt: „Reproduzierbarkeit und Replizierbarkeit sind entscheidende Wege, um Vertrauen in wissenschaftliche Erkenntnisse zu erlangen, wenn auch nicht die einzigen.“ 

Dies ist besonders wichtig, weil klinische und wissenschaftliche Forschung direkt zu Folgendem beiträgt:

• Medizinische Interventionen: Entwicklung neuer Arzneimittel, Behandlungsmethoden, Medizinprodukte und Diagnosewerkzeuge
• Krankheitsverständnis: Erweiterung des Wissens über die Ursprünge, den Verlauf und die Behandlung von Krankheiten
• Klinische Validierung: Erzeugung der erforderlichen Nachweise, um Sicherheit und Wirksamkeit für die behördliche Zulassung zu belegen
• Verbesserung der Gesundheitsversorgung: Kontinuierliche Weiterentwicklung diagnostischer Methoden und klinischer Prozesse

Je stärker KI in die Forschung der Life Sciences eingebettet wird, desto wichtiger ist die Reproduzierbarkeit, damit Ergebnisse über die Zeit hinweg konsistent, überprüfbar und vertrauenswürdig bleiben. Dies ist aus mehreren Gründen wichtig:

• Stärkt die wissenschaftliche Glaubwürdigkeit: Reproduzierbarkeit untermauert die Begutachtung durch Fachkolleginnen und -kollegen sowie die Integrität der Forschung, auch wenn KI Teil des Workflows wird
• Erfüllt regulatorische Anforderungen: KI-gestützte Analysen müssen reproduzierbar sein, um auch Monate oder Jahre später Validierungen und Audits zu unterstützen und sicherzustellen, dass die Ergebnisse einer kritischen Prüfung standhalten
• Schützt Ergebnisse in der Praxis: KI-Ergebnisse können klinische Entscheidungen und die Versorgung von Patientinnen und Patienten beeinflussen. Daher sind Konsistenz und Genauigkeit für die Patientensicherheit entscheidend

Ohne Reproduzierbarkeit lassen sich die potenziellen Vorteile von KI im Gesundheitswesen weder vollständig ausschöpfen noch vertrauenswürdig nutzen.

So sehen reproduzierbare KI-Workflows aus

Da KI zunehmend in klinische und wissenschaftliche Workflows eingebettet wird, müssen Organisationen Analyseumgebungen priorisieren, die es Teams ermöglichen, Modelle zu reproduzieren, Abhängigkeiten nachzuverfolgen und Analysen über die Zeit hinweg konsistent nachzubilden. 

Zu den vier Grundprinzipien reproduzierbarer KI-Workflows gehören:

• Standardisierte Umgebungen: Beseitigung von Inkonsistenzen durch fragmentierte R- und Python-Workflows und Sicherstellung eines konsistenten Modellverhaltens von der Entwicklung bis zur Produktion
• Integrierte KI in reproduzierbaren Workflows: Direkte Einbettung von KI- und LLM-Funktionen in gesteuerte Data-Science-Umgebungen, damit Ergebnisse konsistent und nachvollziehbar bleiben und sich in bestehende Workflows einfügen
• Skalierbare Infrastruktur für die Zusammenarbeit: Teams die Arbeit in gemeinsam genutzten Umgebungen ermöglichen, Rechenkapazitäten bedarfsgerecht skalieren und die Zusammenarbeit fördern, ohne Variabilität einzuführen oder die Reproduzierbarkeit zu beeinträchtigen
• End-to-End-Governance und -Kontrolle: Zentrale Governance, Sicherheitsvorkehrungen und Überwachung auf alle Workflows anwenden, um Compliance und langfristige Zuverlässigkeit zu unterstützen

Diese Prinzipien sind zwar nicht vollständig, tragen aber dazu bei, dass Analyse-Workflows sowohl reproduzierbar als auch skalierbar sind – insbesondere in regulierten Umgebungen wie dem Gesundheitswesen und den Life Sciences.

Wie TruDiagnostic mit Posit reproduzierbare KI-Workflows realisiert

Ein Beispiel für reproduzierbare Analysen aus der Praxis liefert das Unternehmen aus den Life Sciences TruDiagnostic. Als Unternehmen für epigenetische Tests mit Fokus auf biologisches Altern, Nährstoffmängel und Zellgesundheit stand TruDiagnostic aufgrund seiner großen Datensätze und fragmentierten Tool-Landschaft vor erheblichen Infrastrukturproblemen.

Bei der Verarbeitung von mehr als 80.000 biologischen Proben stieß das Team auf Ineffizienzen, da verschiedene Gruppen eine Mischung aus Tools nutzten, darunter SageMaker, Docker und R-basierte Umgebungen wie RStudio. Diese Fragmentierung erschwerte die Standardisierung von Workflows und die Wahrung der Konsistenz über verschiedene Analysen hinweg.

Fragmentierte Workflows mit Posit Workbench vereinheitlichen

Um diese Herausforderungen zu bewältigen, führte TruDiagnostic Posit Workbench mit Amazon SageMaker ein. Posit Workbench ermöglicht es Teams, R- und Python-Workflows in einer einheitlichen Umgebung zu entwickeln, zu teilen und gemeinsam zu bearbeiten. So können Data Scientists in ihrer bevorzugten Sprache arbeiten und gleichzeitig die Konsistenz über verschiedene Teams hinweg wahren.

Dadurch konnte TruDiagnostic seine R- und Python-Umgebungen vereinheitlichen und zugleich eine bessere Kontrolle über die Rechenressourcen gewinnen. 

Schnellere Entwicklung und zuverlässigere KI-Ergebnisse

Infolgedessen beschleunigte das Unternehmen seine Entwicklung um ein ganzes Jahr, senkte die Kosten für die Cloud-Infrastruktur um 60 % und verbesserte die Leistung beim Training von KI- und Statistikmodellen um das 10-Fache.

Posit Workbench stellte nicht nur eine skalierbare Datenplattform bereit, sondern auch eine reproduzierbare, KI-fähige Analyseumgebung, die konsistente und zuverlässige Ergebnisse unterstützt.