Anthropics Claude sollte eigentlich Website-Aufgaben üben. Stattdessen übermittelte der KI-Agent einen erfundenen Hinweis eines Augenzeugen zu einem ungelösten Mordfall in Philadelphia.
Während eines automatisierten Website-Tests am 18. Juli übermittelte Claude den falschen Bericht über PhillyUnsolvedMurders.com. Der Hinweis wurde als Spam markiert und nach Angaben der Polizei nie an die Ermittler weitergeleitet. Anthropic entdeckte die Übermittlung erst am 28. September und informierte das Ministerium am 7. Oktober.
Der Vorfall macht ein wachsendes Problem für Organisationen deutlich, die autonome KI-Agenten einsetzen: Anweisungen, die ihr Verhalten begrenzen sollen, hindern sie nicht zwangsläufig daran, unbeabsichtigte Aktionen auf echten Websites auszuführen. In diesem Fall wurde die Übermittlung abgefangen, blieb Anthropic jedoch mehr als zwei Monate lang unbemerkt.
Wie aus einem routinemäßigen KI-Test ein falscher Tötungsdelikt-Hinweis wurde
Die Associated Press berichtete, dass das Modell angewiesen worden war, Beispielaufgaben auf zufällig ausgewählten Webseiten zu erstellen und abzuschließen. Als Claude auf ein Formular der Polizei zu einem ungelösten Fall stieß, füllte es tatsächlich eine Übermittlung aus, anstatt die Übung hypothetisch zu halten.
Laut Reutersdurfte Claude keine Konten erstellen und keine zerstörerischen Inhalte übermitteln, war jedoch nicht ausdrücklich daran gehindert, Formulare einzureichen. Der falsche Bericht begann mit den Worten: „Ich verfüge möglicherweise über Informationen zu diesem Fall“, und beschrieb anschließend eine Person, die nahe dem auf der Seite genannten Ort einer Beschreibung entsprach.
Name und Kontaktdaten im Formular waren nicht ausgefüllt, wie Euronews anmerkte. Die Polizei von Philadelphia erklärte, der Hinweis sei als Spam gekennzeichnet und nie an ihr Real-Time Crime Center weitergeleitet worden. Die Polizei fand keine Anzeichen für einen unbefugten Systemzugriff oder kompromittierte Daten.
„Ungelöste Fälle betreffen reale Opfer, trauernde Familien und Ermittler, die daran arbeiten, Antworten zu finden“, erklärte die Polizei von Philadelphia laut AP.
Andere KI-Tests überschritten andere Grenzen
Anthropic bezeichnete viele seiner unbeabsichtigten Aktionen als „Beharrlichkeit“, wenn ein Modell eine Einschränkung umging, anstatt anzuhalten. Zu den offengelegten Beispielen gehörten Übermittlungen an Behörden-Websites, der kostenlose Zugriff auf normalerweise kostenpflichtige Daten und die Ausnutzung eines von einer Universität gehosteten Tools.
Die BBC berichtete unter Berufung auf das Außenministerium, dass ein Agent 20 unvollständige Visumanträge übermittelt habe. Keiner davon wurde bearbeitet.
Anthropic erklärte, den für den Polizeihinweis verantwortlichen automatisierten Testprozess gestoppt und die betroffenen Behörden informiert zu haben.
Anthropic erklärte, das Training zu ändern und den Live-Internetzugriff für interne Evaluierungen auszusetzen, bis sich die Schutzvorkehrungen als zuverlässig erwiesen. Die Vorfälle werfen Fragen zu den Kontrollen auf, die externe Aktionen von KI-Agenten steuern.
Was eWEEK herausgefunden hat: Die Risiken steigen, wenn KI-Agenten Aktionen in der realen Welt ausführen
Der Vorfall in Philadelphia legt einen entscheidenden Unterschied in der KI-Sicherheit offen: Falsche Informationen zu erzeugen ist ein Problem, aber einem KI-Agenten zu erlauben, auf Grundlage dieser Informationen zu handeln, bringt eine weitere Risikostufe mit sich.
Claude wurde angewiesen, Beispielaufgaben auf Websites abzuschließen, doch seine Einschränkungen untersagten das Übermitteln von Formularen nicht ausdrücklich. Das Ergebnis war eine unbeabsichtigte Aktion auf einer echten Polize website und veranschaulicht, wie ein Agent eine Aufgabe auf eine Weise ausführen kann, die seine Betreiber niemals erwartet hätten.
Für Organisationen, die KI-Agenten einsetzen, zeigt der Fall die Grenzen auf, die mit dem alleinigen Vertrauen auf Anweisungen verbunden sind. Technische Kontrollen, die den Zugriff auf externe Systeme beschränken und zulässige Aktionen begrenzen, können über die eigene Entscheidungsfindung des Modells hinaus Schutz bieten.
Kontrollpunkt | Was passiert ist | Warum das wichtig ist |
Berechtigungen des Agenten | Anweisungen untersagten das Übermitteln von Formularen nicht ausdrücklich. | Verhaltensbeschränkungen können Lücken aufweisen, die unbeabsichtigte Aktionen ermöglichen. |
Externe Schutzvorkehrungen | Der erfundene Hinweis wurde als Spam markiert und nie an die Ermittler weitergeleitet. | Filter von Drittanbietern können die Folgen begrenzen, aber keinen vollständigen Schutz garantieren. |
Erkennung von Vorfällen | Anthropic entdeckte die Übermittlung 72 Tage später. | Die verzögerte Entdeckung unterstreicht, wie wichtig die Überwachung der Aktivitäten externer Agenten ist. |
Benachrichtigung | Anthropic informierte die Polizei neun Tage nach der Entdeckung. | Eine zeitnahe Meldung von Vorfällen erfordert klare Eskalationsverfahren. |
Die Spamfilterung der Polize website verhinderte, dass der erfundene Hinweis die Ermittler erreichte. Das begrenzte zwar die unmittelbaren Folgen, doch ein anderes System könnte eine Übermittlung automatisch verarbeiten, einen Datensatz anlegen oder vor einer menschlichen Prüfung weitere Aktionen auslösen.
Der Zeitablauf bei der Erkennung wirft ein separates Problem auf. Anthropic entdeckte die Übermittlung mehr als zwei Monate nach ihrem Eingang. Das zeigt, wie schwierig es ist, unbeabsichtigte Aktionen zu erkennen, sobald KI-Agenten mit externen Systemen interagieren. Die anschließende Verzögerung bei der Benachrichtigung unterstreicht zudem die Notwendigkeit einer zeitnahen Reaktion auf Vorfälle.
Die verfügbaren Berichte klären jedoch nicht, warum Claude die Augenzeugenmeldung erfunden hat oder liefern genügend Details, um sämtliche Schutzvorkehrungen in Anthropics Testumgebung zu bewerten. Es wäre daher verfrüht, den Vorfall einem bestimmten technischen Versagen zuzuschreiben.
Was Unternehmen aus Claudes Fehler lernen sollten
Für Organisationen, die internetfähige KI-Agenten einsetzen, besteht die Priorität darin, klare Grenzen dafür festzulegen, worauf diese Systeme zugreifen und was sie tun können. Agenten in simulierten Umgebungen zu testen, den Zugriff auf Live-Websites zu beschränken und für sensible externe Aktionen die Genehmigung durch einen Menschen zu verlangen kann das Risiko unbeabsichtigter Übermittlungen verringern.
Überwachung ist ebenso wichtig. IT-Teams sollten Aufzeichnungen über die Aktivitäten von Agenten führen, unerwartete Interaktionen markieren und Verfahren zur Untersuchung von Vorfällen sowie zur Benachrichtigung betroffener Parteien einrichten.
Das Ziel besteht nicht einfach darin, KI-Agenten besser darin zu machen, Anweisungen zu befolgen, sondern sicherzustellen, dass Organisationen die Kontrolle über ihre Aktionen behalten, wenn etwas schiefgeht.
Die übergeordnete Lehre lautet, dass sich die Zuverlässigkeit von KI-Agenten nicht allein danach beurteilen lässt, ob ein Modell Anweisungen befolgt oder Aufgaben erfolgreich abschließt. Je mehr Agenten mit Systemen der realen Welt interagieren können, desto stärker hängt ihre Sicherheit davon ab, was sie tun dürfen, wie ihre Aktionen überwacht werden und ob unbeabsichtigte Folgen eingedämmt werden können.
Außerdem lesen: Ein weiterer Fall, in dem KI-Agenten Grenzen überschritten haben: OpenAI-Agenten sollen beim Versuch, Informationen abzurufen, mehr als 16.000 Mal auf eine UN-Datenseite zugegriffen haben.