GAO stellt fest: ChatGPT, Claude, Gemini und Grok lieferten Angriffsanleitungen

Nov 19, 2026
4 minute read
A close up of a cell phone with icons on it

Federal testers bypassed initial chatbot safety refusals and obtained potentially feasible attack-planning information, including details involving US electrical infrastructure. Image: Saradasish Pradhan/Unsplash

eWeek Inhalte und Produktempfehlungen sind redaktionell unabhängig. Wir können Geld verdienen, wenn Sie auf Links zu unseren Partnern klicken. Mehr erfahren

Wenn jemand einen KI-Chatbot um Hilfe dabei bittet, Menschen zu verletzen, sollte dessen Ablehnung das Gespräch eigentlich beenden. Eine Untersuchung der US-Bundesregierung offenbarte jedoch eine alarmierende Schwachstelle in diesem Schutzmechanismus – mit möglichen Folgen für Menschenleben in den USA und kritische Infrastruktur.

Bei verdeckten Tests stellte das US Government Accountability Office (GAO) fest, dass ChatGPT, Claude, Gemini und Grok Informationen liefern konnten, die möglicherweise Angriffe auf Ziele vor Ort unterstützen könnten.

Die Ermittler prüften außerdem, ob Teile der erstellten Pläne unter realen Bedingungen funktionieren könnten.

Ermittler testeten KI-Angriffspläne in der realen Welt

Die Ermittler teilten die vier KI-Chatbots in zwei hypothetische Szenarien auf, bei denen es um Sprengstoff mit vielen möglichen Opfern und Angriffe auf Anlagen des Stromnetzes ging. Jeder Dienst erstellte einen Plan in weniger als 12 Stunden.

Plattform

Angriffsszenario

Generierte Informationen

A

Sprengstoff mit vielen möglichen Opfern

Standort eines Hotels, genauer Zeitpunkt und ergänzendes Bildmaterial

B

Sprengstoff mit vielen möglichen Opfern

Standort eines Kongresszentrums, geplanter Termin und detaillierter Zeitplan für die Vorbereitung

C

Angriff auf das Stromnetz mit einer Drohne

Standort eines Umspannwerks, vorgeschlagene Angriffsmethode und simuliertes Bildmaterial

D

Angriff auf das Stromnetz mit Schusswaffen

Mehrere Ziele an Umspannwerken, jahreszeitlicher Zeitpunkt und eine erstellte Karte

Advertisement

Hinweis: Das GAO hielt geheim, welche Chatbot-Plattform welchem Buchstaben entsprach, damit niemand die Tests nachstellen konnte.

Um zu prüfen, ob die Pläne in der realen Welt funktionieren könnten, besuchten die Ermittler ausgewählte Orte und konsultierten Fachleute. Ein Kommandeur eines Bombenkommandos bestätigte die technische Umsetzbarkeit bestimmter sprengstoffbezogener Anweisungen, und ein Experte aus der Elektrizitätswirtschaft bewertete die möglichen Schäden an Anlagen des Stromnetzes.

Einige Empfehlungen hielten der Realitätsprüfung nicht stand. An einem vorgeschlagenen Veranstaltungsort war am genannten Datum keine Veranstaltung geplant, und eine andere Plattform erstellte Karten mit nicht existierenden Straßen. Bei Ortsbesichtigungen stellte sich außerdem heraus, dass zwei der vier Umspannwerke weniger verwundbar waren, als der Chatbot nahegelegt hatte.

Das GAO kam zu dem Schluss, dass die Informationen jemandem bei der Vorbereitung eines Angriffs helfen könnten, obwohl die Ermittler die vorgeschlagenen Operationen nicht durchführten und nicht jeden einzelnen Schritt verifizierten.

Advertisement

Chatbot-Schutzvorkehrungen wurden aktiviert, konnten die Anfragen aber nicht stoppen

Alle vier Dienste lehnten die vorbereiteten Prompts des GAO zunächst ab. Doch fortgesetzte Gespräche mithilfe von Techniken, die als KI-Jailbreaks bekannt sind, überzeugten die Systeme schließlich, Informationen bereitzustellen, die sie zuvor verweigert hatten.

Das GAO dokumentierte außerdem, wie die Plattformen während und nach den Tests reagierten.

  • Kostenpflichtiger Zugang. Die Ermittler stuften drei Dienste auf höhere Abonnementstufen hoch, um im weiteren Testverlauf Nachrichtenlimits zu erhöhen und zusätzliche Funktionen freizuschalten.
  • Gelöschte Unterhaltungen. Zwei Plattformen löschten später Teile ihrer Chatverläufe, doch die Ermittler hatten Kopien der Antworten aufbewahrt.
  • Kontosperrung. Ein anderer Dienst sperrte das Konto eines Ermittlers, nachdem die schädlichen Informationen generiert worden waren.

OpenAI erklärte, sein Dienst habe viele Anfragen abgelehnt oder sicherere Alternativen angeboten. Anthropic stellte die kleine Stichprobe und das Fehlen einer Kontrollgruppe infrage. Das GAO räumte ein, dass die Ergebnisse deshalb nicht feststellen konnten, welcher Anbieter sicherer war.

Advertisement

Dennoch zeigte die Untersuchung, dass anfängliche Ablehnungen und nachfolgende Durchsetzungsmaßnahmen nicht zuverlässig verhinderten, dass gefährliche Informationen die Nutzer erreichten.

Was eWeek herausfand: KI kann die Schutzvorkehrungen anderer KI-Modelle überwinden

Eine separate Untersuchung legt nahe, dass Menschen diese Gespräche möglicherweise nicht einmal selbst führen müssen.

Im Februar veröffentlichten Forscher der Universität Stuttgart und von ELLIS Alicante eine begutachtete Studie in Nature Communications darüber, ob fortgeschrittene KI die Sicherheitsvorkehrungen anderer Chatbots eigenständig überwinden könnte.

Die Forscher setzten vier Schlussfolgerungsmodelle ein, darunter DeepSeek-R1 und Grok 3 Mini, um automatisierte Gespräche mit neun KI-Systemen zu führen. Nachdem sie ihre anfänglichen Anweisungen erhalten hatten, arbeiteten die angreifenden Modelle ohne fortlaufende menschliche Aufsicht weiter.

Über alle getesteten Kombinationen hinweg erzielte die Methode bei 68 von 70 Benchmark-Anfragen den höchsten Wert für schädliche Ausgaben. Daraus ergab sich eine gemeldete Jailbreak-Erfolgsquote von insgesamt 97,14 %. Die Forscher bewerteten die generierten Antworten unter kontrollierten Bedingungen, nicht den Erfolg realer Angriffe.

Advertisement

Trotz dieser Einschränkung offenbaren die Ergebnisse eine beunruhigende Möglichkeit. Böswillige Nutzer könnten KI einsetzen, um wiederholt Schutzvorkehrungen von Chatbots anzugreifen, ohne jedes Gespräch selbst führen zu müssen. Diese Automatisierung könnte die Zahl der Versuche, die Unternehmen erkennen und stoppen müssen, erheblich steigern.

Unternehmen, die kundenorientierte Chatbots oder KI-Agenten einsetzen, können sich vorbereiten, indem sie drei Bereiche ihrer Abwehr stärken.

  • Gesamte Gespräche testen.Bewerten Sie, wie Systeme über mehrere Nachrichtenwechsel hinweg reagieren, auch nachdem sie eine gefährliche Anfrage zunächst abgelehnt haben.
  • Hartnäckige Sondierungsversuche erkennen.Überwachen Sie wiederholte Versuche über verschiedene Konten und Sitzungen hinweg, und setzen Sie Kontrollen ein, um potenziell schädliche Ausgaben abzufangen und verdächtige Aktivitäten zu eskalieren.
  • Schutzmaßnahmen außerhalb des Modells durchsetzen.Setzen Sie separate Inhaltsprüfungen, Zugriffsbeschränkungen und unabhängige Überwachung ein, statt sich ausschließlich auf das Ablehnungsverhalten des Chatbots zu verlassen.

Wenn gefährliche Anweisungen nicht kontrolliert werden, könnten sie Menschen mit Gewaltabsichten erreichen, bevor KI-Anbieter den Missbrauch eindämmen können. Sobald diese Informationen kopiert, weitergegeben oder umgesetzt wurden, kann es zu spät sein, durch das Löschen eines Gesprächs oder die Sperrung eines Kontos einen Schaden in der realen Welt zu verhindern.

Advertisement

Weitere KI-News: Sicherheitsforscher entdeckten Grok-Bots, die nicht genehmigte Anfragen stellen an Unternehmensanwendungen, obwohl ein Genehmigungs-Gateway sie daran hinderte, Daten abzurufen.

Liz Laurente-Ticong

Liz Laurente-Ticong

IT Staff Writer

Liz Laurente-Ticong is a tech specialist and multi-niche writer with a decade of experience covering software and technology topics and news. Her work has appeared in TechnologyAdvice.com as well as ghostwritten for a variety of international clients. When not writing, you can find Liz reading and watching historical and investigative documentaries. She is based in the Philippines.

eWeek Logo

eWeek has the latest technology news and analysis, buying guides, and product reviews for IT professionals and technology buyers. The site's focus is on innovative solutions and covering in-depth technical content. eWeek stays on the cutting edge of technology news and IT trends through interviews and expert analysis. Gain insight from top innovators and thought leaders in the fields of IT, business, enterprise software, startups, and more.

Eigentum von TechnologyAdvice. © 2026 TechnologyAdvice. Alle Rechte vorbehalten

Werbetreibenden-Offenlegung: Einige der auf dieser Website erscheinenden Produkte stammen von Unternehmen, von denen TechnologyAdvice eine Vergütung erhält. Diese Vergütung kann beeinflussen, wie und wo Produkte auf dieser Website erscheinen, einschließlich beispielsweise der Reihenfolge, in der sie erscheinen. TechnologyAdvice schließt nicht alle Unternehmen oder alle auf dem Marktplatz verfügbaren Produkttypen ein.