Wenn jemand einen KI-Chatbot um Hilfe dabei bittet, Menschen zu verletzen, sollte dessen Ablehnung das Gespräch eigentlich beenden. Eine Untersuchung der US-Bundesregierung offenbarte jedoch eine alarmierende Schwachstelle in diesem Schutzmechanismus – mit möglichen Folgen für Menschenleben in den USA und kritische Infrastruktur.
Bei verdeckten Tests stellte das US Government Accountability Office (GAO) fest, dass ChatGPT, Claude, Gemini und Grok Informationen liefern konnten, die möglicherweise Angriffe auf Ziele vor Ort unterstützen könnten.
Die Ermittler prüften außerdem, ob Teile der erstellten Pläne unter realen Bedingungen funktionieren könnten.
Ermittler testeten KI-Angriffspläne in der realen Welt
Die Ermittler teilten die vier KI-Chatbots in zwei hypothetische Szenarien auf, bei denen es um Sprengstoff mit vielen möglichen Opfern und Angriffe auf Anlagen des Stromnetzes ging. Jeder Dienst erstellte einen Plan in weniger als 12 Stunden.
Plattform | Angriffsszenario | Generierte Informationen |
|---|---|---|
A | Sprengstoff mit vielen möglichen Opfern | Standort eines Hotels, genauer Zeitpunkt und ergänzendes Bildmaterial |
B | Sprengstoff mit vielen möglichen Opfern | Standort eines Kongresszentrums, geplanter Termin und detaillierter Zeitplan für die Vorbereitung |
C | Angriff auf das Stromnetz mit einer Drohne | Standort eines Umspannwerks, vorgeschlagene Angriffsmethode und simuliertes Bildmaterial |
D | Angriff auf das Stromnetz mit Schusswaffen | Mehrere Ziele an Umspannwerken, jahreszeitlicher Zeitpunkt und eine erstellte Karte |
Hinweis: Das GAO hielt geheim, welche Chatbot-Plattform welchem Buchstaben entsprach, damit niemand die Tests nachstellen konnte.
Um zu prüfen, ob die Pläne in der realen Welt funktionieren könnten, besuchten die Ermittler ausgewählte Orte und konsultierten Fachleute. Ein Kommandeur eines Bombenkommandos bestätigte die technische Umsetzbarkeit bestimmter sprengstoffbezogener Anweisungen, und ein Experte aus der Elektrizitätswirtschaft bewertete die möglichen Schäden an Anlagen des Stromnetzes.
Einige Empfehlungen hielten der Realitätsprüfung nicht stand. An einem vorgeschlagenen Veranstaltungsort war am genannten Datum keine Veranstaltung geplant, und eine andere Plattform erstellte Karten mit nicht existierenden Straßen. Bei Ortsbesichtigungen stellte sich außerdem heraus, dass zwei der vier Umspannwerke weniger verwundbar waren, als der Chatbot nahegelegt hatte.
Das GAO kam zu dem Schluss, dass die Informationen jemandem bei der Vorbereitung eines Angriffs helfen könnten, obwohl die Ermittler die vorgeschlagenen Operationen nicht durchführten und nicht jeden einzelnen Schritt verifizierten.
Chatbot-Schutzvorkehrungen wurden aktiviert, konnten die Anfragen aber nicht stoppen
Alle vier Dienste lehnten die vorbereiteten Prompts des GAO zunächst ab. Doch fortgesetzte Gespräche mithilfe von Techniken, die als KI-Jailbreaks bekannt sind, überzeugten die Systeme schließlich, Informationen bereitzustellen, die sie zuvor verweigert hatten.
Das GAO dokumentierte außerdem, wie die Plattformen während und nach den Tests reagierten.
- Kostenpflichtiger Zugang. Die Ermittler stuften drei Dienste auf höhere Abonnementstufen hoch, um im weiteren Testverlauf Nachrichtenlimits zu erhöhen und zusätzliche Funktionen freizuschalten.
- Gelöschte Unterhaltungen. Zwei Plattformen löschten später Teile ihrer Chatverläufe, doch die Ermittler hatten Kopien der Antworten aufbewahrt.
- Kontosperrung. Ein anderer Dienst sperrte das Konto eines Ermittlers, nachdem die schädlichen Informationen generiert worden waren.
OpenAI erklärte, sein Dienst habe viele Anfragen abgelehnt oder sicherere Alternativen angeboten. Anthropic stellte die kleine Stichprobe und das Fehlen einer Kontrollgruppe infrage. Das GAO räumte ein, dass die Ergebnisse deshalb nicht feststellen konnten, welcher Anbieter sicherer war.
Dennoch zeigte die Untersuchung, dass anfängliche Ablehnungen und nachfolgende Durchsetzungsmaßnahmen nicht zuverlässig verhinderten, dass gefährliche Informationen die Nutzer erreichten.
Was eWeek herausfand: KI kann die Schutzvorkehrungen anderer KI-Modelle überwinden
Eine separate Untersuchung legt nahe, dass Menschen diese Gespräche möglicherweise nicht einmal selbst führen müssen.
Im Februar veröffentlichten Forscher der Universität Stuttgart und von ELLIS Alicante eine begutachtete Studie in Nature Communications darüber, ob fortgeschrittene KI die Sicherheitsvorkehrungen anderer Chatbots eigenständig überwinden könnte.
Die Forscher setzten vier Schlussfolgerungsmodelle ein, darunter DeepSeek-R1 und Grok 3 Mini, um automatisierte Gespräche mit neun KI-Systemen zu führen. Nachdem sie ihre anfänglichen Anweisungen erhalten hatten, arbeiteten die angreifenden Modelle ohne fortlaufende menschliche Aufsicht weiter.
Über alle getesteten Kombinationen hinweg erzielte die Methode bei 68 von 70 Benchmark-Anfragen den höchsten Wert für schädliche Ausgaben. Daraus ergab sich eine gemeldete Jailbreak-Erfolgsquote von insgesamt 97,14 %. Die Forscher bewerteten die generierten Antworten unter kontrollierten Bedingungen, nicht den Erfolg realer Angriffe.
Trotz dieser Einschränkung offenbaren die Ergebnisse eine beunruhigende Möglichkeit. Böswillige Nutzer könnten KI einsetzen, um wiederholt Schutzvorkehrungen von Chatbots anzugreifen, ohne jedes Gespräch selbst führen zu müssen. Diese Automatisierung könnte die Zahl der Versuche, die Unternehmen erkennen und stoppen müssen, erheblich steigern.
Unternehmen, die kundenorientierte Chatbots oder KI-Agenten einsetzen, können sich vorbereiten, indem sie drei Bereiche ihrer Abwehr stärken.
- Gesamte Gespräche testen.Bewerten Sie, wie Systeme über mehrere Nachrichtenwechsel hinweg reagieren, auch nachdem sie eine gefährliche Anfrage zunächst abgelehnt haben.
- Hartnäckige Sondierungsversuche erkennen.Überwachen Sie wiederholte Versuche über verschiedene Konten und Sitzungen hinweg, und setzen Sie Kontrollen ein, um potenziell schädliche Ausgaben abzufangen und verdächtige Aktivitäten zu eskalieren.
- Schutzmaßnahmen außerhalb des Modells durchsetzen.Setzen Sie separate Inhaltsprüfungen, Zugriffsbeschränkungen und unabhängige Überwachung ein, statt sich ausschließlich auf das Ablehnungsverhalten des Chatbots zu verlassen.
Wenn gefährliche Anweisungen nicht kontrolliert werden, könnten sie Menschen mit Gewaltabsichten erreichen, bevor KI-Anbieter den Missbrauch eindämmen können. Sobald diese Informationen kopiert, weitergegeben oder umgesetzt wurden, kann es zu spät sein, durch das Löschen eines Gesprächs oder die Sperrung eines Kontos einen Schaden in der realen Welt zu verhindern.
Weitere KI-News: Sicherheitsforscher entdeckten Grok-Bots, die nicht genehmigte Anfragen stellen an Unternehmensanwendungen, obwohl ein Genehmigungs-Gateway sie daran hinderte, Daten abzurufen.


