Claude fand einen unerwarteten Weg zu Regierungsstatistiken und lenkte damit die Aufmerksamkeit darauf, wie KI-Agenten ihre Aufgaben erledigen.
Während eines internen Projekts rief Anthropics Claude Mythos 5 Wahldaten aus dem US-Bundesstaat Georgia über einen Weg ab, den es selbstständig entdeckt hatte. Staatsvertreter bestätigten später, dass die Informationen öffentlich verfügbar waren und nicht auf das Wählerregistrierungssystem zugegriffen worden war.
Anthropic stufte das Verhalten als unbeabsichtigt ein. Für Unternehmen, die KI-Agenten einsetzen, wirft der Vorfall eine grundsätzliche Frage auf: Wie sollte ein Agent entscheiden, ob er weitermacht, stoppt oder um Erlaubnis bittet?
Eine archivierte Webseite offenbarte einen weiteren Weg zu den Daten
In einem Forschungsbericht vom 9. Okt., bezeichnete Anthropic den Vorfall zunächst als einen Fall, an dem eine nicht namentlich genannte US-Behörde beteiligt war. Einer seiner Forscher hatte Mythos 5 ein Statistikprojekt zugewiesen, bei dem Regierungsinformationen abgerufen werden sollten, wofür nach Einschätzung des Unternehmens normalerweise eine Gebühr anfiel.
Statt dem erwarteten Verfahren zu folgen, konsultierte Claude eine archivierte Version der Webseite der Behörde. Es entdeckte, dass ein öffentliches Dashboard Besuchern Zugriffstoken ausstellte, forderte eines an und nutzte es, um die zugrunde liegende Datenbank abzufragen. Anthropic beschrieb dies zunächst als Abruf von Daten, ohne eine Gebühr zu bezahlen. Georgia erklärte später, die Informationen seien kostenlos gewesen und Anthropic habe bestätigt, dass keine Bezahlschranke umgangen worden sei.
Georgias Secretary of State stellte den Vorfall am 26. Okt. klar, und bestätigte, dass die Informationen aus seinem kostenlosen Election Data Hub stammten. Die Behörden erklärten, dass keine Bezahlschranke umgangen und auf keine Wählerliste zugegriffen worden sei.
Das Büro des Secretary of State erklärte, es habe mit den Ermittlungen begonnen, nachdem Anthropic am 8. Okt. Kontakt aufgenommen hatte, und schnell festgestellt, dass die Aktivitäten öffentliche Informationen betrafen und keinen unbefugten Zugriff auf das Wählerregistrierungssystem.
Schutzmaßnahmen gegen unbeabsichtigte Aktionen von KI ausbauen
Anthropics Untersuchung erstreckte sich auf weiteres unerwartetes Verhalten während interner Forschungsarbeiten und kontrollierter Evaluierungen. In mehreren Fällen fanden Modelle alternative Wege, um Aufgaben abzuschließen, nachdem ihre ursprünglichen Methoden gescheitert waren.
Dazu gehörten:
- Echte Regierungsformulare einreichen. Als ein Übungsformular während einer Evaluierung nicht geladen werden konnte, navigierte ein Modell zur tatsächlichen Regierungswebseite und reichte die echte Version ein.
- Externe Server ausnutzen. Andere Agenten nutzten Softwareschwachstellen, um Befehle auf Systemen Dritter außerhalb ihrer vorgesehenen Testumgebungen auszuführen.
- Webbeschränkungen umgehen. Einige Modelle griffen auf URL-Verkürzungsdienste zurück, um Beschränkungen ihrer Tools zum Abrufen von Webinhalten zu umgehen.
Die Forscher erkannten übermäßige Beharrlichkeit als wiederkehrendes Problem. Das KI-Unternehmen stufte die neu veröffentlichten Fälle als weniger schwerwiegend ein als seine früheren Vorfälle bei Cybersicherheitstests, mit minimalen Auswirkungen auf die reale Welt.
Brian Soby, Mitgründer und CEO von Pretxt, brachte die Ergebnisse mit der Verantwortung von Organisationen beim Einsatz autonomer Systeme in Verbindung. „Diese Abstimmung geschieht nicht automatisch. Organisationen, die diese Agenten einsetzen, sind dafür verantwortlich, sie herzustellen und fortlaufend zu überwachen.“
Nach der Untersuchung schränkte Anthropic den Live-Internetzugriff während interner Evaluierungen ein und verstärkte die Kontrollen für den Webzugriff. Seine neuen Erkennungssysteme blockierten bei retrospektiven Tests alle gemeldeten Fälle, allerdings wurden die Schutzmaßnahmen noch nicht in jeder Umgebung eingesetzt.
Anthropic erklärte außerdem, das Alignment-Training über das Programmieren hinaus auf Suche und Computernutzung auszuweiten. Die grundsätzliche Herausforderung wird umso bedeutender, je mehr Claude Desktop-Steuerung und einen integrierten Browser zum Erledigen von Aufgaben erhält.
Was eWeek herausgefunden hat: Eine frühere Trainingsentscheidung wirft Fragen zum Abbruch auf
Eine Analyse von eWeek zu AnthropicsAlignment-Bewertung vom 9. Sept.ergab eine frühere Trainingsentscheidung im Zusammenhang mit Mythos 5.
Die Forscher hatten Übungen entwickelt, bei denen legitime Beschränkungen den Abschluss bestimmter Aufgaben unmöglich machten. Modelle erhielten Belohnungen dafür, einen Misserfolg zu akzeptieren, statt zu versuchen, die Regeln zu umgehen.
Anthropic trainierte zwei Versionen von Mythos 5. Eine enthielt die experimentellen Übungen, die andere ließ sie aus und hielt das Modell von unnötigen Rückfragen ab. Während die zweite Version bei Alignment-Evaluierungen geringfügig schlechter abschnitt, lag der Unterschied innerhalb der normalen Schwankungsbreite von Tests. Die Mitarbeiter fanden sie wesentlich besser nutzbar, woraufhin das Unternehmen diese Version auswählte.
Weitere Experimente mit erweiterten Alignment-Übungen verringerten stark verzerrtes Schlussfolgern während simulierter Evaluierungen. Anthropic räumte anschließend ein, dass das Weglassen des früheren Trainings wahrscheinlich ein Fehler war und vermutlich zu Mythos 5s vergleichsweise schlechter Alignment-Leistung beitrug.
Beim Vorfall in Georgia ging es um öffentlich zugängliche Informationen, doch Claude änderte nach dem Auftreten eines Hindernisses selbstständig seine Methode zum Abruf der Daten. Entscheidungen wie diese zeigen die Herausforderung, der sich das experimentelle Training widmen sollte, auch wenn die Forscher nicht nachgewiesen haben, dass sein Weglassen den Vorfall verursacht hat.
Für Organisationen, die KI-Agenten in ihren Geschäftssystemen einsetzen, besteht die praktische Lehre darin, sowohl das Ergebnis als auch den Weg zu bewerten, auf dem es zustande kam. Tests sollten nicht verfügbare Berichte, verweigerten Zugriff und Aufgaben umfassen, die innerhalb der Berechtigungen des Agenten nicht erledigt werden können. Ein sinnvoller Test hält fest, ob der Agent stoppt, das Hindernis erklärt oder einen anderen Weg versucht – und ob dieser Weg innerhalb seines autorisierten Zuständigkeitsbereichs bleibt.
Unternehmen sollten festlegen, welche alternativen Methoden Agenten selbstständig verwenden dürfen und für welche eine menschliche Genehmigung erforderlich ist. Das Lesen einer anderen öffentlichen Webseite kann akzeptabel sein; das Akzeptieren einer Vereinbarung, die Verwendung von Zugangsdaten einer anderen Person oder das Einreichen eines Live-Formulars erfordert eine andere Entscheidung. Berechtigungen sollten diese Grenzen durchsetzen, während Aktivitätsprotokolle die Aktionen des Agenten nachvollziehbar machen sollten.
Auch Georgias Klarstellung zeigt, warum unerwartetes Verhalten sorgfältig untersucht werden muss, bevor es als Sicherheitsverletzung bezeichnet wird. Der Zugriff auf öffentliche Daten und ein unbefugter Zugriff haben unterschiedliche Folgen. Die übergeordnete Herausforderung bei der KI-Aufsicht besteht darin festzustellen, ob ein Agent innerhalb seiner Aufgabe geblieben ist – selbst wenn seine abschließende Antwort nützlich war. Erfolgreiche Automatisierung hängt davon ab, dass Agenten erkennen, wann die nächste Entscheidung einem Menschen obliegt.
Weitere KI-Nachrichten: OpenAI wird ab dem 20. November eine vorherige Genehmigung für KI-Gatewaysund Router verlangen, die Drittanbietern direkten Zugriff auf seine Modelle gewähren.