Ein KI-gestützter Geheimdienstbericht veranlasste US-Truppen Berichten zufolge, die Abfangaktion gegen ein chinesisches Schiff vorzubereiten, bevor Beamte feststellten, dass die Einschätzung der Ladung falsch war. Der Fehler wurde erst entdeckt, als sich Militärflugzeuge bereits in der Luft befanden.
Die mit Hilfe von KI erstellte Geheimdiensteinschätzung identifizierte die Ladung während des Kriegs mit dem Iran fälschlicherweise als Bestandteile eines Nuklearwaffenprogramms. Bewaffnete Einsatzkräfte bereiteten sich Berichten zufolge darauf vor, das Schiff zu entern, bevor Beamte den Fehler aufdeckten. Damit prallte das Bestreben des Militärs, KI-Analysen zu beschleunigen, auf eine grundlegendere Anforderung: sicherzustellen, dass die Informationen stimmen, bevor jemand danach handelt.
KI prägte Berichten zufolge sowohl die Analyse als auch den Bericht
CNN berichtete, dass ein Analyst einen Chatbot zu Geheimdienstinformationen über die Ladungsliste des Schiffs befragte, die ihren Ursprung beim US Special Operations Command Pacific hatte. Das Tool kombinierte Open-Source-Informationen mit klassifizierten Signalaufklärungserkenntnissen, identifizierte das Material an Bord des Schiffs jedoch falsch.
CNN zufolge konnte nicht festgestellt werden, um was es sich bei der Ladung tatsächlich handelte oder ob der Chatbot ein kommerzielles Produkt oder ein System der US-Regierung war.
Der Analyst setzte Berichten zufolge erneut KI ein, um die Ergebnisse in einen standardisierten Geheimdienstbericht zu überführen, der im gesamten Militär verteilt wurde. Daraufhin begannen US-Truppen, das Schiff abzufangen, bevor Beamte die Einschätzung genauer prüften und die Operation stoppten.
Die beiden Einsätze von KI brachten unterschiedliche Risiken mit sich. Der erste führte zu der falschen Schlussfolgerung. Der zweite platzierte diese Schlussfolgerung in einem etablierten Geheimdienstprozess, in dem Entscheidungsträger ihr als Teil eines vertrauten Berichts begegnen konnten – statt als roher Chatbot-Antwort.
Schnellere Analysen können auch falsche Informationen schneller verbreiten
Der Vorfall ereignet sich zu einem Zeitpunkt, an dem das Pentagon den KI-Einsatz ausweitet und die Technologie in immer mehr militärischen Operationen verwendet. PCMag wies darauf hin, dass die im Januar veröffentlichte Artificial Intelligence Acceleration Strategy des US-Verteidigungsministeriums schnellere Experimente und eine breitere Einführung der Technologie forderte.
KI kann Analysten dabei helfen, große Informationsmengen schnell zu verarbeiten. Doch Geschwindigkeit wird zum Nachteil, wenn sich ein falsches Ergebnis durch dasselbe System verbreitet, bevor die zugrunde liegenden Belege geprüft wurden.
Jake Steckler, Forschungsstipendiat bei GovAI und ehemaliger Angehöriger der US Army, sagte gegenüber TechCrunch, dass Militärangehörige die in großen Sprachmodellen liegende Unsicherheit verstehen müssten – insbesondere dann, wenn KI zur Zielerfassung, Geheimdienstanalyse oder Operationsplanung eingesetzt werde.
„Diese Entscheidungen haben Konsequenzen über Leben und Tod“, sagte Steckler laut TechCrunch.
Was eWeek herausgefunden hat
Das folgenschwere Versagen lag bei der Übergabe: Eine von KI erzeugte falsche Schlussfolgerung wurde in einen standardisierten Geheimdienstbericht verpackt und erreichte anschließend Beamte, die eine Operation vorbereiteten. CNN berichtete von diesen drei Phasen:
- Die KI-Analyse ging schief. Der Chatbot kombinierte Berichten zufolge Open-Source- und klassifizierte Geheimdienstinformationen , identifizierte die Ladung des Schiffs jedoch falsch.
- Das Ergebnis wurde zu einem standardisierten Geheimdienstbericht. Der Analyst setzte Berichten zufolge erneut KI ein, um die Schlussfolgerung aufzubereiten, bevor sie im gesamten Militär.
- verbreitet wurde.Die Einsatzvorbereitungen folgten.
Bewaffnete Einsatzkräfte bereiteten sich darauf vor, das Schiff zu entern, und Militärflugzeuge befanden sich bereits in der Luft, bevor Beamte die Einschätzung genauer prüften und die Operation stoppten.
Unklar bleibt, an welcher Stelle eine Überprüfung die falschen Informationen früher hätte auffangen müssen. CNN identifizierte den Chatbot nicht und stellte nicht fest, was das Schiff tatsächlich transportierte. Der Bericht erläuterte nicht im Detail, welche Prüfungen auf diese Einschätzung angewandt wurden, bevor die Vorbereitungen zum Abfangen begannen.Dasselbe Risiko kann auch bei Unternehmens-KI auftreten. Eine Chatbot-Antwort lässt sich leichter hinterfragen, solange sie noch in einem Chatfenster steht. Sobald die Information in einen Bericht, eine Sicherheitswarnung
, eine Finanzanalyse oder ein anderes Dokument kopiert wird, dem Menschen bereits vertrauen, ist die KI-Quelle möglicherweise deutlich schwerer zu erkennen. In Prozessen mit hohen Risiken müssen Prüfer die Belege hinter der Antwort kontrollieren, bevor jemand danach handelt.Lesen Sie auch: Mehr darüber, wie KI im Verteidigungsbereich eingesetzt wird, erfahren Sie in unserem Bericht darüber, dass das .