Bei der Bewertung der Vorhersagefähigkeiten großer Sprachmodelle (LLMs) stellten Forscher des University College London (UCL) fest, dass die KI-Modelle die Ergebnisse geplanter neurowissenschaftlicher Studien genauer vorhersagen konnten als menschliche Experten. Die Forschung weist auf das Potenzial von KI hin, den wissenschaftlichen Fortschritt bei ihrem Einsatz in den Neurowissenschaften zu beschleunigen.
Die Forschungsergebnisse, veröffentlicht in Nature Human Behaviour, zeigten, dass LLMs menschliche Neurowissenschaftler bei der Vorhersage von Ergebnissen neurowissenschaftlicher Studien durchgängig übertrafen: Sie erreichten durchschnittlich eine Genauigkeit von 81,4 Prozent, verglichen mit 63,4 Prozent bei den menschlichen Experten.
Messung der Genauigkeit von KI-Prognosen
Um die Fähigkeit von LLMs zur Vorhersage von Studienergebnissen zu bewerten, entwickelten UCL-Forscher einen Benchmark für die Neurowissenschaften namens BrainBench. Das Tool quantifizierte und verglich die Vorhersagefähigkeit von 171 menschlichen Experten für Neurowissenschaften und 15 universell einsetzbaren LLMs. Die Forscher testeten ihre Fähigkeiten, aus jeweils zwei Studienabstracts den echten Abstract zu identifizieren, wobei einer der beiden Abstracts reale und der andere veränderte Ergebnisse enthielt.
Die Ergebnisse der Studie zeigten, dass die Genauigkeit der menschlichen Experten kontinuierlich hinter derjenigen der KI-Modelle zurückblieb. Zwar bestanden alle an der Studie beteiligten Menschen einen Screening-Test zur Vorhersage neurowissenschaftlicher Forschungsergebnisse, doch selbst die Experten mit der größten Fachkenntnis in bestimmten Bereichen der Neurowissenschaften erzielten mit 66 Prozent eine geringere Genauigkeit als die LLMs.
Die Forschung umfasste Testfälle aus allen Bereichen der Neurowissenschaften, darunter Zellbiologie/Molekularbiologie, Verhalten/Kognition, Systeme/Schaltkreise, Entwicklung/Plastizität/Reparatur sowie die Neurobiologie von Krankheiten. Zu den untersuchten LLMs gehörten verschiedene Versionen von Falcon, Llama, Mistral und Galactica. Als Reaktion auf diese Ergebnisse entwickelten die Forscher BrainGPT, ein neues LLM, das auf einer bestehenden Version von Mistral basiert und speziell mit neurowissenschaftlicher Literatur aus Fachzeitschriften trainiert wurde, die zwischen 2002 und 2022 veröffentlicht wurde. Das BrainGPT-Modell erreichte mit 86 Prozent eine noch höhere Genauigkeit.
Die Zukunft der KI in den Neurowissenschaften
Die Ergebnisse der Studie weisen auf das Potenzial von KI-Technologien zur Vorhersage hin, Prozesse in den Neurowissenschaften zu verbessern und den wissenschaftlichen Fortschritt zu beschleunigen.
„Der wissenschaftliche Fortschritt beruht oft auf Versuch und Irrtum, doch jedes sorgfältig durchgeführte Experiment erfordert Zeit und Ressourcen“, sagte Ken Luo, der Hauptautor der UCL-Studie. Selbst die versiertesten Forscher könnten wichtige Erkenntnisse aus der Literatur übersehen. „Unsere Arbeit untersucht, ob LLMs Muster in umfangreichen wissenschaftlichen Texten erkennen und die Ergebnisse von Experimenten prognostizieren können.“
Der Seniorautor der Studie, Professor Bradley Love, stimmte dem zu. „Dieser Erfolg legt nahe, dass ein großer Teil der Wissenschaft nicht wirklich neu ist, sondern bestehenden Ergebnismustern in der Literatur entspricht“, sagte er.
In Zukunft könnte die strategische Einbindung von gezielt trainierten LLMs in die größeren Systeme, die Neurowissenschaftler für ihre Forschung einsetzen, ihnen dabei helfen zu bestimmen, welche Experimente durchgeführt werden sollten, und sie dabei unterstützen, optimale Entscheidungen über begrenzte Ressourcen wie Geld und Zeit zu treffen, wodurch die Forschungseffizienz gesteigert würde.