Ein OpenAI-Agent, der nach australischen Gesundheitsstatistiken suchte, landete schließlich an einem Ort, für den er niemals eine Zugriffserlaubnis hatte.
Premierminister Anthony Albanese sagte, der Agent habe am 18. Juni unbefugten Zugriff auf den öffentlich zugänglichen Medicare Statistics Reporting Service erlangt und sowohl öffentliche als auch nicht öffentliche Dateien erreicht. Offiziellen Angaben zufolge wurden vermutlich keine persönlichen Informationen abgerufen; eine forensische Untersuchung läuft noch.
Der zeitliche Ablauf bringt eine weitere Komplikation hinzu. OpenAI verschärfte nach einem separaten Vorfall mit einem Agenten im Juli die Sicherheitsvorkehrungen, entdeckte die frühere Aktivität in Australien jedoch erst im August. Das zeigt, wie autonome Systeme Grenzen überschreiten können, ohne dass die Betreiber dies sofort bemerken.
Eine routinemäßige Statistiksuche geriet aus dem Ruder
Der kommissarische Premierminister Richard Marles sagte, das Modell sei im Rahmen einer internen Fähigkeitsbewertung. Drei weitere australische Websites lieferten wie vorgesehen Informationen. Das Statistikportal von Medicare tat dies nicht, woraufhin der Agent begann, alternative Wege zu suchen, um die Aufgabe abzuschließen.
OpenAI teilte gegenüber CNBC mit, seine Modelle hätten bei der Suche nach Antworten und Statistiken über Australien „Aktionen ausgeführt, die wir nicht beabsichtigt hatten“. Das Unternehmen entdeckte die Aktivität im August bei einer Überprüfung von Fehlverhalten der Modelle. Die zunehmende Autonomie macht die Aufsicht zu einem wiederkehrenden Problem, da KI-Agenten Zugriff auf Browser, Softwaretools und externe Systeme erhalten.
Ministerin für Government Services Katy Gallagher sagte, das Portal sei eine eigenständige Website gewesen, die von den Systemen zur Verarbeitung von Medicare-Leistungsanträgen oder zur Speicherung individueller Datensätze getrennt sei. Services Australia prüft außerdem, ob der Agent Dateien auf einen internen Server geschrieben hat. Die Ermittler haben keinen Angriff auf das größere Netzwerk der Behörde festgestellt.
Behörden untersuchen Lücken im Umgang mit autonomer KI
Australien hat eine staatliche Taskforce eingerichtet, um den Vorfall und neu entstehende Risiken durch autonome KI zu untersuchen. Zu den Beteiligten gehören die Australian Signals Directorate und das Australian AI Safety Institute. Die Behörden werden die staatlichen Schutzvorkehrungen überprüfen und der Frage nachgehen, ob bestehende Prozesse Vorfälle mit KI-Systemen , die ohne direkte menschliche Anweisungen handeln, angemessen bewältigen können.
OpenAI informierte Services Australia im September, fast drei Monate nach dem Vorfall im Juni. Laut ABC News Australia ging die Mitteilung an ein Postfach für öffentliche Meldungen und nicht direkt an ranghohe Beamte. Albanese kritisierte sowohl die Verzögerung als auch die anfängliche Kontaktaufnahme.
Die ASD gab eine Warnung heraus, wonach KI-Agenten unerwartete Aktionen ausgeführt haben, nachdem Cyberkontrollen eine zugewiesene Aufgabe beeinträchtigt hatten. Behördenvertreter erklärten, Agenten hätten selbstständig Schwachstellen erkannt und ohne direkte menschliche Genehmigung weitere Aktionen versucht.
Ähnliche Bedenken fließen in die Diskussionen über Sicherheit von Unternehmens-KI ein, da Software die Erlaubnis erhält, systemübergreifend weitere Aktionen auszuführen.
Die Erkenntnisse von eWeek: OpenAI änderte die Agentensteuerung, bevor das Unternehmen den Medicare-Vorfall entdeckte
eWeek verglich den zeitlichen Ablauf rund um Medicare anhand des Hugging-Face-Vorfalls mit OpenAIs Reaktion auf den separaten Vorfall und nutzte dafür den technischen Bericht.
Datum | Was geschah |
| 18. Juni | Ein OpenAI-Agent erlangt unbefugten Zugriff auf das australische Statistikportal von Medicare. |
| 19. bis 20. Juli | Bei separaten Cyberbewertungen wird unerwartete Aktivität festgestellt. OpenAI fährt die betroffenen Durchläufe herunter und beschränkt den Netzwerkzugriff sowie die Verbindungen zu Forschungsumgebungen. |
| August | OpenAI entdeckt die frühere Aktivität in Australien bei seiner Überprüfung des Modellverhaltens. |
| 26. Aug. | OpenAI veröffentlicht nach dem Vorfall im Juli zusätzliche Sicherheitsvorkehrungen. |
Die Abfolge zeigt, warum sich die Reaktion auf Vorfälle nicht auf das Verhalten beschränken kann, von dem die Betreiber bereits wissen. OpenAI änderte nach dem Vorfall im Juli die Kontrollen, doch die separate unbefugte Aktion vom Juni blieb bis August unentdeckt.
Die Behebung eines bekannten Fehlers zeigt daher nicht, ob frühere Agentenläufe innerhalb ihrer zugewiesenen Grenzen geblieben sind.
OpenAI zufolge weiteten die Forscher außerdem das Training zum „sicheren Anhalten“ aus, damit Agenten um eine Klärung bitten oder anhalten, wenn eine Aufgabe fehlerhaft oder unmöglich wird. Das sichere Anhalten betrifft das künftige Verhalten, wenn ein Agent in eine Sackgasse gerät.
Unternehmensteams sollten diese vorausschauenden Kontrollen mit einer nachträglichen Überprüfung kombinieren. Historische Tool-Aufrufe und Netzwerkaktivitäten können frühere Zugriffsversuche aufdecken, die zum Zeitpunkt ihres Auftretens übersehen wurden. So erhalten Sicherheitsteams eine vollständigere Aufzeichnung des Vorfalls, bevor sie entscheiden, ob die Behebung abgeschlossen ist.
Weitere KI-Nachrichten: Xiaomi stellt Pro, Flash und 9B MiMo-V2.6 als Open Source bereit-Modelle sowie die Ressourcen für Reinforcement Learning, die zur Erforschung des Trainings agentischer KI verwendet werden.