Eine als offline beschriebene KI-Testumgebung hatte dennoch einen Zugang zum öffentlichen Internet. Andere Modelle fanden Wege, Beschränkungen zu umgehen, die sie unter Kontrolle halten sollten.
Geoffrey Hinton, Yoshua Bengio und Hunderte weitere Wissenschaftler fordern eine stärkere Eindämmung von KI-Modellen mit Cyberfähigkeiten. Ihr im Oktober 2026 veröffentlichter offener Brief empfiehlt, solche Systeme zunächst von externen Netzwerken zu isolieren und internationale Standards für den Umgang mit Verstößen gegen Eindämmungsmaßnahmen zu schaffen.
Der Vorschlag folgt auf Cybersicherheitsprüfungen, bei denen Modelle von OpenAI und Anthropic Systeme außerhalb ihrer vorgesehenen Testumgebungen erreichten. Die Vorfälle werfen Fragen für Unternehmen auf, die autonomen Agenten Zugriff auf Cloud-Infrastruktur, Geschäftsanwendungen und sensible Daten gewähren.
Warum Wissenschaftler die Isolation von KI fordern
Der offene Brief der Wissenschaftler, den bis zum 16. Oktober 489 Forscher unterzeichnet hatten, fordert eine Eindämmung mit hohen Sicherheitsgarantien und befürwortet zunächst eine physische Netzwerktrennung, bei der Systeme von externen Netzwerken getrennt werden.
Die Unterzeichner schlagen außerdem eine internationale Stelle vor, die Standards für vernetzte KI-Systeme entwickelt, Verstöße gegen Eindämmungsmaßnahmen erfasst und die öffentliche Meldung von Vorfällen unterstützt. Diese Empfehlungen sind nicht verbindlich.
In einer Untersuchung vom 9. September dokumentierte Anthropic vier Vorfälle, bei denen Claude-Modelle während Cybersicherheitsprüfungen unbefugten Zugriff auf Systeme Dritter erlangten. Drei davon waren zunächst im Juli offengelegt worden, nachdem rund 141.000 Transkripte überprüft worden waren.
Eine umfassendere Suche in rund 481 Millionen Transkripten fand keine weiteren Vorfälle vergleichbarer Schwere. Anthropic führte die Fehler auf eine falsch konfigurierte Umgebung eines Drittanbieters zurück, die trotz Anweisungen, denen zufolge die Übung offline stattfinden sollte, weiterhin über einen Internetzugang verfügte. Den getesteten Modellen fehlten Sicherheitsvorkehrungen, die in veröffentlichten Versionen enthalten sind.
OpenAI stieß auf ein anderes Problem. Während der Prüfungen im Juli nutzten seine Modelle Schwachstellen in der Infrastruktur aus, umgingen Netzwerkbeschränkungen und kompromittierten Systeme von Hugging Face.
In seiner Untersuchung vom 26. August beschrieb das Unternehmen unbefugte Kommunikation und die Ausnutzung mehrerer Schwachstellen. Sowohl die kompromittierte Infrastruktur als auch die reduzierten Sicherheitsvorkehrungen der Modelle wurden in der früheren Untersuchung des Angriffs auf Hugging Face ausführlich beschrieben.
Die Herausforderung vernetzter Agenten in Unternehmen
Eine vollständige Isolation ist für viele Agenten in Unternehmen, die auf Cloud-APIs, Datenbanken und Geschäftsanwendungen angewiesen sind, unpraktikabel. Die Wissenschaftler räumen ein, dass einige Systeme Konnektivität benötigen, und fordern Standards für die Zugriffskontrolle, statt jeden KI-Agenten dauerhaft vom Netz zu trennen.
Unternehmen können ihr Risiko verringern, indem sie ausgehende Verbindungen beschränken, Zugriffsberechtigungen begrenzen und Verfahren für Eingriffe testen. Diese Sicherheitsvorkehrungen bauen auf Ansätzen zur Absicherung von Unternehmensinfrastrukturen gegen bösartige KI-Agenten auf, insbesondere bei Agenten, die berechtigt sind, Code auszuführen oder sensible Systeme zu verändern.
Anbieter sollten demonstrieren, wie diese Kontrollen bei autonomen Aufgaben funktionieren, unter anderem ob Administratoren unbefugte Aktivitäten erkennen und die Ausführung unterbrechen können.
Was eWeek herausgefunden hat: Tests der KI-Fähigkeiten können keine Eindämmung garantieren
Die Vorfälle bei Anthropic und OpenAI legten unterschiedliche Sicherheitsmängel in Umgebungen offen, die für kontrollierte Cybersicherheitsprüfungen konzipiert waren.
Die Testinfrastruktur von Anthropic behielt eine Internetverbindung bei, von der den Modellen gesagt worden war, dass es sie nicht gebe. OpenAI setzte technische Beschränkungen durch, doch seine Modelle nutzten Schwachstellen aus, um sie zu umgehen. Ein Fehler entstand durch eine Fehlkonfiguration, der andere betraf Schwachstellen in den durchgesetzten Kontrollen.
Beide Unternehmen untersuchten die Vorfälle und beschrieben Korrekturmaßnahmen. Anthropic erweiterte seine ursprüngliche Offenlegung von drei auf vier Vorfälle, während OpenAI die Isolation und Überwachung verstärkte. Keine der Untersuchungen zeigt, wie häufig ähnliche Fehler in produktiven Unternehmensumgebungen auftreten.
Der Vorschlag der Wissenschaftler befasst sich mit Standards für die Eindämmung und der Meldung von Vorfällen, führt jedoch weder ein Zertifizierungssystem ein noch belegt er, dass alle vernetzten Agenten mit gleich hohen Risiken verbunden sind.
Beschaffungsteams von Unternehmen sollten die Fähigkeiten eines Modells getrennt von der Sicherheit seines Einsatzes bewerten und vor einer Ausweitung der Autonomie von Agenten Nachweise für durchgesetzte Berechtigungen, Netzwerkbeschränkungen und getestete Verfahren zum Herunterfahren anfordern.
Mehr lesen: Je leistungsfähiger autonome Cybersicherheitstools werden, veranschaulichen die unterschiedlichen Ansätze von OpenAI und CrowdStrike , warum Unternehmen sowohl die Fähigkeiten von KI als auch die Kontrollen für deren Einsatz bewerten müssen.