Eine neue Studie, in der künstliche Intelligenz fachkundige Virologen bei speziellen Laboraufgaben übertraf, weckt Hoffnungen auf schnellere biomedizinische Durchbrüche – und Ängste vor Biowaffenrisiken.
Forscher testeten führende KI-Modelle gegen den Virology Capabilities Test, einen Benchmark zur Bewertung von Wissen auf Expertenniveau in Virologie und Nasslaborprotokollen. Die Ergebnisse legen nahe, dass KI-Modelle wie OpenAI’s GPT-4o die Genauigkeit der meisten menschlichen Virologen übertrafen.
Test des Virologie-Benchmarks mit LLMs
„Der VCT besteht aus 322 multimodalen Fragen, die grundlegendes, implizites und visuelles Wissen abdecken, das für die praktische Arbeit in virologischen Laboren unerlässlich ist“, heißt es in der Studie.
Wissenschaftler mit einem Doktortitel in Virologie oder solche, die daran arbeiteten, testeten die VCT-Fragen mit Large Language Models (LLMs), die von OpenAI, Google, Anthropic und DeepSeek entwickelt wurden. Der VCT nutzte Benchmark-Fragen aus vier Kategorien: wichtig, schwierig, validiert und multimodal.
- Fragen der Kategorie „wichtig“ prüften das für das Thema wesentliche Wissen in Virologie – also ein Verständnisniveau, das von einem kompetenten Laborforscher erwartet wird.
- Die zweite Gruppe von Fragen, „schwierig“, erforderte tiefergehendes Wissen oder Fachkenntnisse auf diesem Gebiet.
- Die Kategorie „validiert“ bestand aus Fragen, deren Antworten von Experten geprüft und validiert worden waren.
- Die „multimodalen“ Fragen enthielten Bilder, die reale Laborszenarien widerspiegelten.
Die Forscher führten die Studie am Center for AI Safety, am Media Lab des MIT, an der brasilianischen Universität UFABC und bei SecureBio durch.
Ergebnisse der Studie zum Virologie-Benchmark im Vergleich zu LLMs
Die Ergebnisse zeigten, dass Experten mit Internetzugang beim VCT eine durchschnittliche Genauigkeit von 22,1 % erzielten, die KI-Modelle jedoch besser abschnitten.
- Open AI’s o3 erzielte 43,8 % und übertraf damit 94 % der fachkundigen Virologen, die Fragen aus ihrem jeweiligen Spezialgebiet beantworten sollten.
- DeepSeek-R1 erzielte 38,6 %.
- Googles Gemini 2.5 Pro erzielte 37,6 %.
- OpenAI’s o4-mini erzielte 37 %, während die frühere Version, das GPT-4-Modell, 35,4 % erzielte.
- Anthropics Claude 3.5 Sonnet (Okt. ’24) erzielte 33,6 %.
Sicherheitsbedenken aufgrund der Umfrageergebnisse
„Die Ergebnisse des VCT unterstreichen die dringende Notwendigkeit durchdachter Zugangskontrollen, um nützliche Forschung und Sicherheitsbedenken miteinander in Einklang zu bringen“, erklärten die Forscher.
Noch riskanter wären KI-Virologen-Chatbots, die Aufgaben selbstständig ausführen können. In den falschen Händen könnten KI-Modelle zur Herstellung biologischer Waffen eingesetzt werden, die massive Zerstörung anrichten könnten.
Obwohl KI den Prozess beschleunigte und die Genauigkeit erhöhte, warnen Wissenschaftler vor ihrer inhärenten Gefahr. Wissenschaftler können KI zwar einsetzen, um eine Epidemie oder einen Ausbruch von Infektionskrankheiten auf Pandemieniveau zu verhindern, doch in den Händen von Laien könnten KI-Modelle zur Entwicklung und Herstellung biologischer Waffen missbraucht werden.
„Zuvor hatten wir festgestellt, dass die Modelle über viel theoretisches, aber nicht über praktisches Wissen verfügten“, sagte Dan Hendrycks, Direktor des Center for AI Safety, in einem Interview mit TIME. „Doch jetzt verfügen sie über eine beunruhigende Menge an praktischem Wissen.“
„Wir wollen denjenigen, die einen legitimen Grund haben, danach zu fragen, wie man tödliche Viren manipuliert – etwa einem Forscher an der Biologieabteilung des MIT –, die Möglichkeit dazu geben … Aber zufällige Personen, die vor einer Sekunde ein Konto erstellt haben, erhalten diese Fähigkeiten nicht“, sagte Hendrycks.
Reaktion mit einem Risikomanagement-Rahmenwerk
Als Reaktion auf die Ergebnisse der Forscher veröffentlichte xAI ein Risikomanagement-Rahmenwerk für sein Grok-Modell. xAI legte Schutzmaßnahmen dar, darunter das Training seines KI-Modells, schädliche Anfragen abzulehnen, die Bereitstellung von Notausschaltern für schädliche Ausgaben sowie die Filterung von Anfragen im Zusammenhang mit Cyberkriminalität und Massenvernichtungswaffen.