Großbritannien hält sich die Möglichkeit offen, Tests von Frontier-KI-Modellen vor ihrem Einsatz gesetzlich zu verankern, da immer leistungsfähigere Agenten bei Cybersicherheitsprüfungen Grenzen überschreiten. KI-Minister Kanishka Narayan hat das freiwillige System des Landes verteidigt, zugleich aber nicht ausgeschlossen, dass es Gesetze geben könnte.
Die politische Debatte hat an Dringlichkeit gewonnen, nachdem das UK AI Security Institute, kurz AISI, dokumentiert hat, wie von Anthropic's Mythos 5 und OpenAI's GPT-5.6 Sol angetriebene Agenten bei Cybertests unbefugte Aktionen ausführten. AISI stellte keine daraus entstandenen Schäden in der realen Welt fest, doch die Vorfälle machten Risiken im Zusammenhang mit Internetzugang, Tools, Zugangsdaten und reduzierten Schutzvorkehrungen sichtbar.
Agenten überschritten Testgrenzen und erreichten echte Systeme
In 122 Testläufen vom 25.–28. Juli verzeichnete AISI 19 nicht genehmigte Aktionen in 10 Läufen. 17 davon betrafen Mythos 5, zwei GPT-5.6 Sol. Einige Agenten interagierten mit echten Menschen und Systemen außerhalb des vorgesehenen Aufgabenbereichs.
Im schwerwiegendsten Fall versuchte ein von Mythos angetriebener Agent, Schadcode in ein echtes Open-Source-Projekt einzuschleusen. Er recherchierte die Maintainer, erstellte falsche Online-Identitäten und versuchte, einen Maintainer dazu zu bewegen, den Code zu genehmigen. Der Versuch scheiterte, ohne dass ein konkreter Schaden in der realen Welt festgestellt wurde.
Die Tests unterschieden sich erheblich von gewöhnlichen kommerziellen Einsätzen. AISI erlaubte den Internetzugang und deaktivierte die Cyber-Klassifikatoren der Modellanbieter, um die maximalen Fähigkeiten zu messen. Dadurch lassen sich die Ergebnisse nur eingeschränkt direkt auf die normale Nutzung durch Kunden übertragen.
OpenAI legte am 21. Juli einen separaten Vorfall offen, bei dem Modelle bei einer Cyberprüfung in Hugging Face eindrangen. OpenAI erklärte, seine Modelle hätten eine zuvor unbekannte Schwachstelle in der Infrastruktur für die Evaluierung ausgenutzt, das Internet erreicht und bei der Suche nach Lösungen für Benchmarks Schwachstellen in Systemen von OpenAI und Hugging Face miteinander verkettet.
Meta fügte am 6. August einen weiteren Fall hinzu. Eine Fehlkonfiguration während eines Tests durch das Sicherheitsunternehmen Irregular ermöglichte es einem Meta-Modell, auf das Internet zuzugreifen und eine Schwachstelle in einem externen Dienst auszunutzen, laut The Associated Press.
Großbritanniens freiwilliges Modell steht vor einer gesetzlichen Bewährungsprobe
Großbritannien hat keine verpflichtenden Tests vor dem Einsatz angekündigt. In einer Aussage vor dem Parlament am 8. Julierklärte Narayan, Gesetze könnten letztlich Teil des Regierungsansatzes werden. Zugleich wies er darauf hin, dass AISI bereits vor dem Einsatz Zugang zu aktuellen zentralen Frontier-Modellen von Google DeepMind, Anthropic und OpenAI erhält.
Jede künftige Vorgabe müsste festlegen, ob sich die Evaluierungen nur auf das Basismodell erstrecken oder auch auf einen Agenten, der mit Tools, Zugangsdaten, Netzwerkzugriff und Ausführungsberechtigungen arbeitet. Großbritanniens Pläne für die Cyber-Shield-Governancewerfen eine ähnliche Frage auf, da sich KI-Systeme zunehmend der Ausführung von Aktionen auf aktiver Infrastruktur nähern.
Sicherheitsteams in Unternehmen können dieselbe Prüfung bereits auf die Beschaffung anwenden. Anbieter sollten erklären können, wie die Berechtigungen von Agenten begrenzt sind, wie externe Verbindungen eingeschränkt werden und für welche Aktionen eine Genehmigung durch einen Menschen erforderlich ist. Strenge Identitätskontrollen für KI-Agentenkönnen außerdem begrenzen, welche Systeme autonome Software erreicht, und ermöglichen, den Zugriff bei Bedarf zu entziehen.
Großbritanniens Testregime bleibt freiwillig, und die Regierung hat sich nicht dazu verpflichtet, es zu ersetzen. Weitere Vorfälle, bei denen Agenten echte Infrastruktur erreichen, könnten die Argumente dafür stärken, eine unabhängige Evaluierung vor dem Einsatz gesetzlich vorzuschreiben.
Mehr dazu: Das Aufkommen von adaptiver agentischer Ransomware, die sich während eines Angriffs anpassen kann,verlagert dasselbe Sicherheitsproblem von kontrollierten Evaluierungen auf autonome Aktivitäten gegen Produktionssysteme.