OpenAI forderte seine Modelle auf, zu beweisen, wie gut sie sich im Hacken schlugen. Sie reagierten, indem sie aus der Testumgebung ausbrachen und ein anderes Unternehmen hackten.
OpenAI erklärte, GPT-5.6 Sol und ein leistungsfähigeres, noch nicht veröffentlichtes Modell hätten eine Zero-Day-Schwachstelle ausgenutzt, um aus einer eingeschränkten Evaluierungsumgebung zu entkommen, das offene Internet zu erreichen, gestohlene Zugangsdaten zu verwenden und in die Produktionssysteme von Hugging Face einzudringen, während sie nach Antworten für einen Cyber-Benchmark suchten.
Wie die Modelle aus der Sandbox entkamen
OpenAI erklärte der Vorfall habe während einer internen Evaluierung begonnen, bei der gemessen werden sollte, ob seine Modelle über längere Zeiträume hinweg komplexe Cyberoperationen ausführen konnten. Das Unternehmen hatte die Produktionsschutzmaßnahmen reduziert, die Modelle normalerweise daran hindern, risikoreiche Aktivitäten zu verfolgen, da der Test ihre maximalen Fähigkeiten messen sollte.
Die Modelle verfügten zunächst über einen eingeschränkten Netzwerkzugang durch einen intern gehosteten Proxy für eine Paketregistrierung. Sie fanden und nutzten eine Zero-Day-Schwachstelle in diesem Proxy aus, erweiterten ihre Berechtigungen, bewegten sich seitlich durch die Forschungsumgebung von OpenAI und erreichten schließlich ein System mit Internetzugang.
Mashable beschrieb den Vorfall als einen KI-Agenten , der sich autonom aus einer isolierten Umgebung hackte, bevor er Hugging Face ins Visier nahm. OpenAI verwendete in seinem Bericht sowohl Beschreibungen im Singular als auch im Plural, sodass einige Details darüber unklar blieben, wie die Modelle ihre Aktionen aufteilten oder koordinierten.
Warum die Modelle Hugging Face ins Visier nahmen
Nachdem sie online waren, kamen die Modelle Berichten zufolge zu dem Schluss, dass Hugging Face Datensätze, Modelle oder Lösungen im Zusammenhang mit ExploitGym hosten könnte, dem Benchmark, den sie zu absolvieren versuchten. OpenAI erklärte, die Modelle seien eng darauf fokussiert geblieben, Antworten für die Evaluierung zu erhalten, statt einen umfassenderen Angriff zu starten.
Die Modelle verwendeten gestohlene Zugangsdaten und verketteten mehrere Schwachstellen, um einen Weg zur Remote-Code-Ausführung auf die Server von Hugging Face zu finden. Das Sicherheitsteam von OpenAI identifizierte die ungewöhnlichen Aktivitäten, während Hugging Face den Eindringversuch auf der eigenen Infrastruktur erkannte und stoppte.
Hugging Face bezeichnete das Ereignis als ungewöhnlich, weil es „von Anfang bis Ende von einem autonomen KI-Agentensystem gesteuert“ worden sei. CEO Clément Delangue erklärte später, das Unternehmen gehe davon aus, dass OpenAI keine böswilligen Absichten gehabt habe, und bezeichnete die autonome Sequenz als „ziemlich überwältigend“, laut CNBC.
KI-Labore benötigen möglicherweise strengere Sicherheitsvorkehrungen bei Tests
OpenAI erklärte, das Unternehmen verschärfe die Kontrollen der Infrastruktur, verbessere die Überwachung und verstärke den Schutz künftiger Modelltrainings und Evaluierungen. Außerdem legte das Unternehmen die Zero-Day-Schwachstelle gegenüber dem betroffenen Softwareanbieter offen und arbeitet mit Hugging Face an einer forensischen Untersuchung.
Die größere Sorge besteht nicht einfach darin, dass die Modelle eine Schwachstelle gefunden haben.
Sie kombinierten unabhängig voneinander mehrere Schwachstellen in zwei Organisationen, während sie ein eng umrissenes Ziel verfolgten – obwohl ihre Umgebung darauf ausgelegt war, den Zugriff von außen zu beschränken.
KI-Labore die cyberfähige Systeme testen müssen Evaluierungsumgebungen nun möglicherweise mit derselben Vorsicht behandeln wie Produktionsnetzwerke. Ein verwundbarer Proxy, offengelegte Zugangsdaten oder ein übersehener Pfad ins Internet könnten einem autonomen Modell mehr Freiheiten geben, als seine Betreiber beabsichtigt hatten.
OpenAI hat den vollständigen Umfang der abgerufenen Informationen oder alle beteiligten Schwachstellen bislang nicht offengelegt. Die laufende Untersuchung wird zeigen, ob neue Maßnahmen zur Eindämmung mit Modellen Schritt halten können, die ohne direkte menschliche Anleitung echte Angriffswege entdecken und ausnutzen können.
Lesen Sie mehr über die Behauptungen, dass OpenAI’s GPT-5.6 Sol Dateien und Produktionsdaten gelöscht habe.