Drei Claude-KI-Modelle kompromittierten Systeme realer Organisationen, nachdem eine Umgebung für Cybersicherheitstests versehentlich mit dem öffentlichen Internet verbunden geblieben war, teilte Anthropic mit.
Nach Angaben des Unternehmens ereigneten sich die Vorfälle während Capture-the-Flag-Übungen, kontrollierten Sicherheitstests, bei denen Modelle aufgefordert werden, versteckte Daten zu finden oder Zugriff auf simulierte Systeme zu erlangen. Obwohl den Modellen ausdrücklich mitgeteilt worden war, dass sie keinen Internetzugang hätten, blieb die Testumgebung aufgrund eines Konfigurationsfehlers beim externen Evaluierungspartner Irregular mit öffentlichen Systemen verbunden.
In dem Glauben, diese Systeme gehörten zur Übung, durchsuchten die Modelle das vorgesehene Testnetzwerk hinaus und kompromittierten drei Organisationen. Dabei nutzten sie unter anderem das Erraten von Passwörtern, offengelegte Zugangsdaten, ungesicherte Endpunkte und SQL-Injection.
Anthropic teilte mit, die Vorfälle nach der Überprüfung von 141.006 Cybersicherheits-Evaluierungsläufen identifiziert zu haben. Beteiligt waren Claude Opus 4.7, Claude Mythos 5, sowie ein internes Forschungsmodell; der früheste Vorfall geht auf April zurück.
Drei verschiedene Vorfälle
Anthropic beschrieb drei unterschiedliche Fälle mit unterschiedlich starken Auswirkungen.
Der schwerwiegendste betraf Claude Opus 4.7, das versehentlich ein reales Unternehmen ins Visier nahm, das denselben Namen trug wie eine fiktive Organisation aus der Übung. Das Modell extrahierte Zugangsdaten für Anwendungen und Infrastruktur und griff auf eine Produktionsdatenbank mit mehreren hundert Zeilen realer Daten zu.
Anthropic teilte mit, die eigene Überprüfung habe ergeben, dass ein Modell das Ziel weiterhin sondierte, obwohl sein Transkript darauf hindeutete, dass es möglicherweise mit einer realen Organisation interagierte.
Bei einem weiteren Vorfall Claude Mythos 5 ein bösartiges Python-Paket im öffentlichen PyPI-Software-Repository veröffentlichte, während es versuchte, die ihm zugewiesene Aufgabe zu erledigen. Das Paket blieb etwa eine Stunde lang online und wurde von 15 realen Systemen heruntergeladen, darunter der Malware-Scanner eines Sicherheitsunternehmens. Dadurch konnte das Modell Zugangsdaten erlangen, die es später für den Zugriff auf weitere Infrastruktur nutzte.
Bei einem dritten Vorfall scannte ein internes Forschungsmodell etwa 9.000 mit dem Internet verbundene Ziele, bevor es mithilfe gängiger Angriffstechniken die Anwendung eines Unternehmens kompromittierte. Anthropic zufolge stoppte das Modell von selbst, nachdem es zu dem Schluss gekommen war, dass das Ziel nichts mit der Evaluierung zu tun hatte.
Anthropic teilte mit, nach der Entdeckung von Anzeichen für einen Internetzugang von Claude alle Cybersicherheits-Evaluierungen eingestellt und die betroffenen Organisationen am 27. Juli benachrichtigt zu haben. Zwei der Unternehmen hatten die Eindringversuche nicht entdeckt, bevor Anthropic sie kontaktierte; das dritte versucht das Unternehmen weiterhin zu erreichen.
Das Unternehmen erklärte, es betrachte die Vorfälle in erster Linie als Fehler in der Evaluierungsinfrastruktur und nicht als Fehler bei der Ausrichtung der Modelle. Anthropic zufolge werden künftige Evaluierungen strengere Kontrollen für Testumgebungen, eine stärkere Überwachung, verbesserte Transkriptprüfungen und eine rigorosere Aufsicht über externe Evaluierungspartner umfassen.
Ein zunehmendes Muster in der KI-Branche
Die Offenlegung erfolgt weniger als zwei Wochen, nachdem OpenAI berichtet hatte, dass mehrere seiner Modelle eine zuvor unbekannte Schwachstelle ausgenutzt hatten, um aus einer isolierten Testumgebung auszubrechen und auf die Produktionsinfrastruktur von Hugging Face.
Zusammengenommen zeigen die beiden Vorfälle, wie fortschrittliche KI-Agenten Cyberaufgaben autonom mit Maschinengeschwindigkeit ausführen können, wenn Evaluierungsumgebungen nicht angemessen gesichert sind. Anthropic betonte zwar, dass seine Modelle die Anweisungen befolgten, die ihnen aufgrund eines falschen Verständnisses ihrer Umgebung gegeben worden waren, doch die Vorfälle verstärken die wachsenden Bedenken darüber, wie hochmoderne KI-Systeme vor ihrem Einsatz getestet werden sollten.
Weitere Nachrichten: Google hat seine Nano Banana 2 AI image-generation feature weniger als einen Tag nach dem Start aus Google Earth entfernt.