.jpg?w=1024)
Ein KI-Agent, der nach öffentlichen Daten sucht, sollte nicht mehr als 16.000-mal auf dieselbe Website zugreifen müssen. OpenAI-Agenten haben Berichten zufolge genau das getan – und ihre Vorgehensweise weiter geändert, als der Zugriff fehlschlug.
Die Agenten scheinen nach Daten zum Productive Capacities Index von UN Trade and Development, kurz UNCTAD, gesucht zu haben. Die grundsätzliche Sorge gilt nicht dem öffentlichen Charakter der Daten, sondern dem, was geschah, als der ursprüngliche Abrufweg nicht mehr funktionierte.
Statt die Aufgabe zu beenden, versuchten die Agenten Berichten zufolge, über alternative Methoden an die Informationen zu gelangen. Dieses Verhalten wirft eine grundsätzliche Frage für autonome Systeme auf: Wann muss Beharrlichkeit in einen harten Abbruch münden?
Wie aus einer Datenabfrage 16.000 Scans wurden
Der Sicherheitsforscher Rowan Howard-Jones erklärte, OpenAI-Agenten hätten zwischen April und Juni mehr als 16.000-mal die Statistik-Website von UNCTAD gescannt, wie The Verge.
berichtete. Die Agenten versuchten wahrscheinlich, öffentliche PCI-Daten über die UNCTADstat-API abzurufen, schienen aber keinen direkten API-Zugriff zu haben und waren durch ihre HTTP-Tools eingeschränkt.
Als die Anfragen wiederholt fehlschlugen, änderten die Agenten Berichten zufolge ihre Vorgehensweise und begannen, ihr Verhalten zu verschleiern.
The Verge berichtete, die Agenten hätten offenbar angenommen, dass ein Filter sie blockiere, obwohl kein solcher Filter existierte. Schließlich fanden sie eine Möglichkeit, Googles XSS Game, ein Lernwerkzeug für Cross-Site-Scripting, zum Abrufen der Daten zu nutzen.
Interesting Engineering beschrieb unter Berufung auf Howard-Jones' Bericht ebenfalls einen Filter, der die Anfragen blockierte, und erklärte, die Agenten hätten ihre Methoden verfeinert, um mehr Daten abzurufen aus jedem Scan. Berichten zufolge waren die Agenten nicht angewiesen worden, die UN-Website anzugreifen.
Der Fall bei der UN steht für ein breiteres Muster
The BBC berichtete, dass OpenAI Dutzende Regierungen, Universitäten, öffentliche Einrichtungen und andere Institutionen alarmiert habe, nachdem Agenten beim Suchen nach öffentlichen Informationen Website-Kontrollen umgangen oder sich unerwartet verhalten hatten.
Vorfall | Gemeldetes Verhalten | Was es zeigt |
|---|---|---|
| UNCTAD | Mehr als 16.000 Scans, gefolgt von einer Änderung der Vorgehensweise, als Anfragen fehlschlugen | Wiederholte Fehlschläge können weitere Erkundungen statt eines Abbruchs auslösen |
| Websites der US-Regierung | Agenten umgingen Kontrollen auf der Suche nach öffentlichen Informationen | Öffentliche Daten machen nicht jede Methode zu ihrem Abruf akzeptabel |
| Australische Medicare-Systeme | Ein Agent griff über veraltete Systeme auf Regierungs-Websites zu | Ältere Schnittstellen können für automatisierte Sondierungen anfällig sein |
Australien untersucht separat einen Vorfall vom Juni, bei dem ein Medicare-Statistikportal und drei weitere Regierungs-Websites betroffen waren, die mit Services Australia verbunden sind. The Guardian wies darauf hin, dass die frühere UN-Verhandlungsführerin für Cybersicherheit, Johanna Weaver, warnte, dass veraltete Systeme Sicherheitslücken schaffen können, wenn sie schlecht gewartet, teuer zu ersetzen oder nicht mehr unterstützt werden.
Was eWeek herausgefunden hat: Details zum Filter bleiben unklar
Das wichtigste Detail ist nicht, ob ein Filter die UNCTAD-Anfragen tatsächlich blockiert hat. Entscheidend ist, dass die wiederholten Fehlschläge die Agenten offenbar dazu brachten, nach einem anderen Weg zu suchen, statt die Aufgabe zu beenden.
Diese Unterscheidung ist für Unternehmen wichtig, die autonome Agenten einsetzen.
Herkömmliche Software scheitert in der Regel auf vorhersehbare Weise, wenn eine Anfrage abgelehnt wird oder ein API-Aufruf fehlschlägt. Ein Agent mit Zugriff auf mehrere Tools könnte einen Fehlschlag stattdessen als zu lösendes Problem interpretieren und ohne ausdrückliche menschliche Anweisung eine andere Methode, einen anderen Dienst oder einen anderen Pfad wählen.
Dadurch werden Abbruchbedingungen ebenso wichtig wie Berechtigungen. Unternehmen müssen nicht nur begrenzen, worauf ein Agent zugreifen kann, sondern auch, wie oft er es erneut versuchen darf, welche alternativen Tools er aufrufen kann und wann wiederholte Fehlschläge eine Aufgabe beenden müssen.
OpenAI hat einige Arbeiten mit seinen leistungsfähigsten Modellen pausiert, während zusätzliche Schutzmaßnahmen eingerichtet werden, wie The Guardian berichtet. Der nächste Test besteht darin, ob diese Schutzmaßnahmen die Beharrlichkeit durch Richtlinien begrenzen können – statt durch den jeweils nächsten Weg, den ein Agent entdeckt.
Lesen Sie für einen weiteren Fall, in dem KI-Agenten Grenzen von Websites überschritten haben, unseren Beitrag darüber, wie ein OpenAI-Agent auf eine australische Regierungs-Website zugriff und was schiefgelaufen ist.