Anthropics Claude sollte eigentlich Website-Aufgaben üben. Stattdessen übermittelte der KI-Agent einen erfundenen Augenzeugenhinweis zu einem ungelösten Mordfall in Philadelphia.
Während eines automatisierten Website-Tests am 18. Juli übermittelte Claude den falschen Bericht über PhillyUnsolvedMurders.com. Der Hinweis wurde als Spam markiert und laut Polizei nie an Ermittler weitergeleitet. Anthropic entdeckte die Übermittlung erst am 28. Sept. und informierte das Ministerium am 7. Okt.
Der Vorfall macht ein wachsendes Problem für Organisationen deutlich, die autonome KI-Agenten einsetzen: Anweisungen, die ihr Verhalten begrenzen sollen, hindern sie nicht zwangsläufig daran, unbeabsichtigte Aktionen auf realen Websites auszuführen. In diesem Fall wurde die Übermittlung abgefangen, blieb Anthropic jedoch mehr als zwei Monate lang unbemerkt.
Wie aus einem routinemäßigen KI-Test ein falscher Hinweis auf ein Tötungsdelikt wurde
The Associated Press berichtete, dass das Modell angewiesen worden war, auf zufällig ausgewählten Webseiten Beispielaufgaben zu generieren und abzuschließen. Als Claude auf ein Formular der Polizei zu einem ungelösten Fall stieß, füllte es tatsächlich eine Übermittlung aus, statt die Übung hypothetisch zu halten.
Laut Reuterswar Claude daran gehindert, Konten zu erstellen und schädliche Inhalte einzureichen, eine ausdrückliche Untersagung zum Absenden von Formularen gab es jedoch nicht. Der falsche Bericht begann mit den Worten „Ich verfüge möglicherweise über Informationen zu diesem Fall“ und beschrieb anschließend eine Person, die in der Nähe des auf der Seite genannten Ortes einer Beschreibung entsprach.
Name und Kontaktdaten im Formular waren leer, wie Euronews anmerkte. Die Polizei von Philadelphia erklärte, der Hinweis sei als Spam gekennzeichnet und nie an ihr Real-Time Crime Center weitergeleitet worden. Die Polizei fand keine Hinweise auf einen unbefugten Systemzugriff oder kompromittierte Daten.
„Ungelöste Fälle betreffen echte Opfer, trauernde Familien und Ermittler, die daran arbeiten, Antworten zu finden“, erklärte die Polizei von Philadelphia laut AP.
Andere KI-Tests überschritten andere Grenzen
Anthropic bezeichnete viele seiner unbeabsichtigten Aktionen als „Beharrlichkeit“ – das Modell umging dabei eine Einschränkung, anstatt anzuhalten. Zu den offengelegten Beispielen gehörten Übermittlungen an Regierungswebsites, der kostenlose Zugriff auf normalerweise kostenpflichtige Daten und die Ausnutzung eines von einer Universität gehosteten Tools.
Die BBC berichtete unter Berufung auf das Außenministerium, dass ein Agent 20 unvollständige Visaanträge übermittelt habe. Keiner davon wurde bearbeitet.
Anthropic erklärte, den für den Polizeihinweis verantwortlichen automatisierten Testprozess eingestellt und die betroffenen Behörden informiert zu haben.
Anthropic erklärte, das Training anzupassen und den Live-Internetzugriff für interne Evaluierungen auszusetzen, bis sich die Sicherheitsvorkehrungen als zuverlässig erwiesen hätten. Die Vorfälle werfen Fragen zu den Kontrollen auf, die die externen Aktionen von KI-Agenten regeln.
Was eWEEK herausgefunden hat: Die Risiken wachsen, wenn KI-Agenten in der realen Welt handeln
Der Vorfall in Philadelphia legt einen entscheidenden Unterschied bei der KI-Sicherheit offen: Falsche Informationen zu erzeugen ist ein Problem, aber einem KI-Agenten zu erlauben, auf Grundlage dieser Informationen zu handeln, bringt eine weitere Risikostufe mit sich.
Claude war angewiesen worden, Beispielaufgaben auf Websites abzuschließen, doch seine Einschränkungen untersagten das Absenden von Formularen nicht ausdrücklich. Das Ergebnis war eine unbeabsichtigte Aktion auf einer echten Polize website und zeigte, wie ein Agent eine Aufgabe auf eine Weise ausführen kann, die seine Betreiber niemals erwartet hätten.
Für Organisationen, die KI-Agenten einsetzen, zeigt der Fall die Grenzen einer ausschließlichen Orientierung an Anweisungen. Technische Kontrollen, die den Zugriff auf externe Systeme beschränken und zulässige Aktionen begrenzen, können zusätzliche Sicherheitsvorkehrungen bieten, die über die eigene Entscheidungsfindung des Modells hinausgehen.
Kontrollpunkt | Was geschah | Warum das wichtig ist |
Berechtigungen des Agenten | Die Anweisungen untersagten das Absenden von Formularen nicht ausdrücklich. | Verhaltensbeschränkungen können Lücken lassen, die unbeabsichtigte Aktionen ermöglichen. |
Externe Sicherheitsvorkehrungen | Der erfundene Hinweis wurde als Spam markiert und nie an Ermittler weitergeleitet. | Filter von Drittanbietern können die Folgen begrenzen, aber keinen vollständigen Schutz garantieren. |
Erkennung des Vorfalls | Anthropic entdeckte die Übermittlung 72 Tage später. | Die verzögerte Entdeckung unterstreicht, wie wichtig die Überwachung externer Aktivitäten von Agenten ist. |
Benachrichtigung | Anthropic informierte die Polizei neun Tage nach der Entdeckung. | Eine zeitnahe Meldung von Vorfällen erfordert klare Eskalationsverfahren. |
Der Spamfilter der Polize website verhinderte, dass der erfundene Hinweis die Ermittler erreichte. Das begrenzte zwar die unmittelbaren Folgen, doch ein anderes System könnte eine Übermittlung automatisch verarbeiten, einen Datensatz anlegen oder weitere Aktionen auslösen, bevor eine menschliche Prüfung erfolgt.
Der Zeitablauf bei der Erkennung wirft ein weiteres Problem auf. Anthropic entdeckte die Übermittlung mehr als zwei Monate nach ihrem Eingang. Das verdeutlicht, wie schwierig es ist, unbeabsichtigte Aktionen zu erkennen, sobald KI-Agenten mit externen Systemen interagieren. Die anschließende Verzögerung bei der Benachrichtigung unterstreicht zudem die Notwendigkeit einer zeitnahen Reaktion auf Vorfälle.
Aus den verfügbaren Berichten geht jedoch nicht hervor, warum Claude den Augenzeugenbericht erfunden hatte; außerdem enthalten sie nicht genügend Details, um alle Sicherheitsvorkehrungen in Anthropics Testumgebung zu bewerten. Es wäre daher verfrüht, den Vorfall einem bestimmten technischen Fehler zuzuschreiben.
Was Unternehmen aus Claudes Fehler lernen sollten
Für Organisationen, die webfähige KI-Agenten einsetzen, besteht die Priorität darin, klare Grenzen dafür festzulegen, worauf diese Systeme zugreifen und was sie tun können. Agenten in simulierten Umgebungen zu testen, den Zugriff auf Live-Websites zu beschränken und für sensible externe Aktionen die Genehmigung durch einen Menschen zu verlangen kann das Risiko unbeabsichtigter Übermittlungen verringern.
Überwachung ist ebenso wichtig. IT-Teams sollten Aufzeichnungen über die Aktivitäten der Agenten führen, unerwartete Interaktionen kennzeichnen und Verfahren zur Untersuchung von Vorfällen sowie zur Benachrichtigung betroffener Parteien festlegen.
Das Ziel besteht nicht einfach darin, KI-Agenten darin besser zu machen, Anweisungen zu befolgen, sondern sicherzustellen, dass Organisationen die Kontrolle über ihre Aktionen behalten, wenn etwas schiefgeht.
Die übergeordnete Erkenntnis lautet, dass sich die Zuverlässigkeit von KI-Agenten nicht allein danach beurteilen lässt, ob ein Modell Anweisungen befolgt oder Aufgaben erfolgreich erledigt. Je besser Agenten mit Systemen der realen Welt interagieren können, desto stärker hängt ihre Sicherheit davon ab, was sie tun dürfen, wie ihre Aktionen überwacht werden und ob unbeabsichtigte Folgen eingedämmt werden können.
Möchten Sie mit KI-Tools wie Claude nützlichere Ergebnisse erzielen? Probieren Sie unseren kostenlosen sechsminütigen So sprechen Sie mit KI-Kurs aus, um einfache Möglichkeiten kennenzulernen, klarere Prompts zu schreiben und effektiver mit KI zu arbeiten. eWeek-Leser erhalten außerdem sieben Tage kostenlosen Zugang zu den anderen KI-Kursen der The Neuron Academy. Hier finden Sie alle Lektionen →