Ein KI-gestützter Geheimdienstbericht veranlasste US-Streitkräfte Berichten zufolge, die Abfangung eines chinesischen Schiffs vorzubereiten, bevor Beamte feststellten, dass die Einschätzung der Ladung falsch war. Der Fehler wurde erst bemerkt, als sich Militärflugzeuge bereits in der Luft befanden.
Die mit Unterstützung von KI erstellte Geheimdiensteinschätzung identifizierte die Ladung während des Kriegs mit Iran fälschlicherweise als Bestandteile eines Atomwaffenprogramms. Bewaffnete Einsatzkräfte bereiteten sich Berichten zufolge darauf vor, das Schiff zu betreten, bevor Beamte den Fehler aufdeckten. Damit stieß der Vorstoß des Militärs zu einer schnelleren KI-Analyse auf eine grundlegendere Voraussetzung: Die Informationen müssen stimmen, bevor jemand danach handelt.
KI prägte Berichten zufolge sowohl die Analyse als auch den Bericht
CNN berichtete, dass ein Analyst einen Chatbot zu Geheimdienstinformationen über das Schiffsmanifest befragte, die ihren Ursprung beim US Special Operations Command Pacific hatten. Das Tool kombinierte öffentlich zugängliche Informationen mit klassifizierten Signalinformationen, identifizierte das Material an Bord des Schiffs jedoch falsch.
CNN zufolge konnte nicht festgestellt werden, um welche Fracht es sich tatsächlich handelte oder ob der Chatbot ein kommerzielles Produkt oder ein System der US-Regierung war.
Der Analyst nutzte Berichten zufolge erneut KI, um die Ergebnisse in einen standardisierten Geheimdienstbericht zu überführen, der im gesamten Militär verbreitet wurde. US-Streitkräfte begannen daraufhin, das Schiff abzufangen, bevor Beamte die Einschätzung genauer prüften und den Einsatz stoppten.
Die beiden Einsätze von KI brachten unterschiedliche Risiken mit sich. Der erste führte zu der falschen Schlussfolgerung. Der zweite bettete diese Schlussfolgerung in einen etablierten Geheimdienstprozess ein, sodass Entscheidungsträger ihr als Bestandteil eines vertrauten Berichts begegnen konnten und nicht als einer unbearbeiteten Chatbot-Antwort.
Schnellere Analysen können auch schlechte Informationen schneller verbreiten
Der Vorfall ereignet sich, während das Pentagon den Einsatz von KI ausweitet und sie in immer mehr militärischen Operationen nutzt. PCMag wies darauf hin, dass die im Januar veröffentlichte Artificial Intelligence Acceleration Strategy des US-Verteidigungsministeriums schnellere Experimente und eine breitere Einführung der Technologie fordert.
KI kann Analysten dabei helfen, große Informationsmengen schnell zu verarbeiten. Doch Geschwindigkeit wird zum Nachteil, wenn sich eine falsche Erkenntnis durch dasselbe System verbreitet, bevor die ihr zugrunde liegenden Belege geprüft wurden.
Jake Steckler, Forschungsstipendiat bei GovAI und Veteran der US Army, sagte gegenüber TechCrunch, Soldaten müssten die Unsicherheit verstehen, die großen Sprachmodellen innewohnt – insbesondere dann, wenn KI für Zielerfassung, Geheimdienstanalyse oder Operationsplanung eingesetzt wird.
„Diese Entscheidungen haben Konsequenzen über Leben und Tod“, sagte Steckler laut TechCrunch.
Die Erkenntnisse von eWeek
Das folgenschwere Versagen lag in der Übergabe: Eine von KI erzeugte falsche Schlussfolgerung wurde in einen standardisierten Geheimdienstbericht verpackt und erreichte anschließend Beamte, die einen Einsatz vorbereiteten. CNN berichtete von diesen drei Phasen:
- Die KI-Analyse ging schief. Der Chatbot kombinierte Berichten zufolge öffentlich zugängliche und klassifizierte Geheimdienstinformationen miteinander, identifizierte die Ladung des Schiffs jedoch falsch.
- Die Erkenntnis wurde zu einem standardisierten Geheimdienstbericht. Der Analyst nutzte Berichten zufolge erneut KI, um die Schlussfolgerung aufzubereiten, bevor sie im gesamten Militär verbreitet wurde.
- Die Einsatzvorbereitungen folgten. Bewaffnete Einsatzkräfte bereiteten sich darauf vor, das Schiff zu betreten, und Militärflugzeuge befanden sich bereits in der Luft, bevor Beamte die Einschätzung genauer prüften und den Einsatz stoppten.
Unklar bleibt, an welcher Stelle eine Überprüfung die falschen Informationen früher hätte erkennen müssen. CNN identifizierte den Chatbot nicht und stellte nicht fest, was das Schiff tatsächlich transportierte. Der Bericht ging nicht im Einzelnen darauf ein, welche Prüfungen auf diese Einschätzung angewandt wurden, bevor die Vorbereitungen zum Abfangen begannen.
Dasselbe Risiko kann auch bei Unternehmens-KI auftreten. Eine Chatbot-Antwort lässt sich leichter hinterfragen, solange sie noch in einem Chatfenster steht. Sobald diese Information in einen Bericht kopiert wird, ist eine Sicherheitswarnung, eine Finanzanalyse oder ein anderes Dokument, dem die Menschen bereits vertrauen, kann die KI-Quelle deutlich schwerer zu erkennen sein. In Arbeitsabläufen mit hohen Risiken müssen Prüfer die Belege hinter der Antwort kontrollieren, bevor jemand danach handelt.
Auch lesenswert: Mehr darüber, wie KI im Verteidigungsbereich eingesetzt wird, erfahren Sie in Berichten, wonach das chinesische Militär OpenAI- und Anthropic-Modelle zur Ausbildung von Verteidigungssystemen einsetzte.