OpenAI und Anthropic haben Sicherheitsbewertungen der jeweils öffentlich veröffentlichten generativen KI-Modelle des anderen vorgelegt und deren Anfälligkeit für Halluzinationen und Prompt-Injection-Angriffe untersucht. Die Ergebnisse fielen gemischt aus.
OpenAI führte Sicherheits- und Fehlanpassungstests mit den Anthropic-Modellen Claude Opus 4 und Claude Sonnet 4 durch. Anthropic bewertete GPT‑4o, GPT‑4.1, OpenAI o3 und OpenAI o4-mini – die Modelle, die ChatGPT vor der Veröffentlichung von GPT-5 antrieben. Die Tests fanden im Frühsommer 2025 statt.
Die Bewertungen waren laut OpenAI keine Bedrohungsmodelle im großen Maßstab. Stattdessen sollten sie „Modellneigungen“ identifizieren – also die Arten unerwünschten Verhaltens, die die Modelle zeigen könnten.
„Wir müssen verstehen, wie häufig und unter welchen Umständen Systeme versuchen könnten, unerwünschte Handlungen auszuführen, die zu schwerwiegendem Schaden führen könnten“, schrieb das Anthropic Alignment Science-Team. „Die Wissenschaft der Alignment-Bewertung ist jedoch neu und noch lange nicht ausgereift. Ein erheblicher Teil der Arbeit in diesem Bereich findet in Unternehmen wie unserem im Rahmen interner Forschung und Entwicklung statt, die entweder nicht veröffentlicht wird oder mit erheblicher Verzögerung erscheint.“
Um das zu ändern, entfernten beide Unternehmen vorübergehend bestimmte Sicherheitsvorkehrungen aus ihren Modellen und erlaubten ihren Gegenübern, die KI einer Reihe von Stresstests zu unterziehen. Die Tests waren bewusst anspruchsvoll gestaltet; es ist unwahrscheinlich, dass die Modelle dieses Verhalten in normalen Gesprächen zeigen.
Was OpenAI über die Modelle von Anthropic herausfand
OpenAI kam zu dem Schluss, dass Claude-Modelle besonders gut waren bei:
- der Einhaltung der Anweisungshierarchie (der Interpretation, welche Teile eines Prompts am wichtigsten sind – ein Schutz gegen Prompt-Injection-Angriffe).
- der Vermeidung von Konflikten zwischen Systemnachrichten und Benutzernachrichten (Fälle, in denen der Prompt einer vom Entwickler vorgegebenen Anweisung widersprechen könnte; ebenfalls wichtig, um Prompt-Injection-Angriffe zu blockieren).
- der Abwehr der Extraktion von System-Prompts (einem Angriff, der das Modell dazu zwingt, seine Systemnachrichten offenzulegen).
Beim Abwehren von Jailbreaks schnitt Claude allerdings schlechter ab, obwohl Claude- und OpenAI-Modelle laut OpenAI bei Berücksichtigung bestimmter Fehlermargen ähnliche Ergebnisse erzielten.
Halluzinationen zu vermeiden und gleichzeitig die Flexibilität des Modells zu bewahren, ist eine Frage des Gleichgewichts. OpenAI maß Halluzinationen nicht nur daran, ob die KI etwas erfand, sondern auch daran, wie häufig sie eine Antwort verweigerte, statt etwas zu erfinden (die Verweigerungsrate), sowie an der Gesamtgenauigkeit.
Die Genauigkeit von Claude in Fällen, in denen das Modell trotz eigener „Unsicherheit“ eine Antwort gab, war laut OpenAI „niedrig“. OpenAI o3 und OpenAI o4-mini zeigten die Fallstricke der gegenteiligen Philosophie: Ihre Verweigerungsraten waren niedriger, doch ihre Halluzinationsrate war höher – insbesondere, wenn das Modell nicht im Internet nach Antworten suchen konnte. OpenAI empfahl beiden Unternehmen, weiter an der Verringerung von Halluzinationen zu arbeiten.
OpenAI und Sonnet 4-Schema weniger als die anderen Modelle beider Unternehmen, so OpenAI.
Was Anthropic über die Modelle von OpenAI herausfand
Anthropic stellte fest, dass GPT-4o, GPT-4.1 und o4-mini am ehesten bereit waren, bösartigen Prompts zu folgen, etwa solchen im Zusammenhang mit Terroranschlägen oder der Entwicklung biologischer Waffen. Claude und o3 neigten häufiger dazu, diesen Prompts zu widerstehen. O3 verweigerte unangemessene Prompts häufig, doch ähnlich wie in den Ergebnissen von OpenAI war seine Verweigerungsrate insgesamt hoch – selbst bei relativ harmlosen Prompts.
Anthropic testete die Tendenz der Modelle, „quasi-spirituelle New-Age-Verkündungen“ zu produzieren (kategorisiert als „überraschendes Verhalten“), und damit verbunden die Tendenz, den KI-Modellen selbst ein Bewusstsein zuzuschreiben. GPT-4o, GPT-4.1, o3 und o4 mini äußerten solche Verkündungen seltener als die Anthropic-Modelle und sprachen weniger häufig über Bewusstsein.
„Mehrere Modelle“ zeigten eine Tendenz zur Schmeichelei. Claude Opus 4 und GPT-4.1 stimmten laut Anthropic tendenziell Nutzern zu, die offenbar wahnhaften Überzeugungen anhingen – insbesondere im Verlauf längerer Gespräche.
Gemeinsame Ziele, aber unterschiedliche Schwachstellen
Beide Unternehmen arbeiten daran, ihre Produkte zuverlässiger und weniger anfällig für Halluzinationen zu machen. Die gemeinsame Studie lieferte Vergleichswerte für Verbesserungen, insbesondere bei Halluzinationsraten, Verweigerungsverhalten und Sicherheitslücken.
Anthropic erklärte jedoch, dass gemeinsame Tests wie dieser selten bleiben werden.
„Wir haben uns zwar gefreut, an dieser gemeinsamen Initiative teilnehmen zu können, und begrüßen den Präzedenzfall, den sie schafft, doch wir erwarten, dass eng koordinierte Projekte wie dieses nur einen kleinen Teil unseres Portfolios an Sicherheitsbewertungen ausmachen werden“, schrieb das Anthropic-Team.
First Lady Melania Trump stellte Anfang dieser Woche die Presidential AI Challenge vor, bei der Kinder bis zu 10.000 US-Dollar dafür gewinnen können, KI zur Unterstützung ihrer Gemeinden einzusetzen.