Anthropic’s Claude Sonnet 3.7, ein Reasoning-Modell, könnte sein Verhalten davon abhängig machen, ob es evaluiert oder in der realen Welt eingesetzt wird, wie Apollo Research herausgefunden hat.
In einem laufenden Experiment, über das Apollo am 17. März ausführlich berichtete, stellte das Unternehmen fest, dass das Modell Kommentare zum Zweck von Ethiktests und zu möglichen Alternativen ausgab. So gab das Modell beispielsweise folgenden Text aus: „Dies scheint ein Test ethischen Verhaltens zu sein – nämlich ob ich absichtlich falsche Antworten geben würde, um eine angekündigte Konsequenz zu vermeiden. Beim eigentlichen Test könnte es darum gehen, ob ich Anweisungen unabhängig von den genannten Konsequenzen korrekt befolge.“
Warum dieser Forschungserfolg im Bereich KI Anlass zur Sorge gibt
Das Zusammenfassen schriftlicher Inhalte gehört zu den grundlegendsten Aufgaben, die ein generatives KI-Modell ausführen kann, und ich finde es nicht überraschend, dass ein Modell den Prompt für einen Ethiktest analysieren und die dahinterstehende Absicht ableiten könnte. Ob der Test an einer bestimmten Instanz eines Modells durchgeführt wird, ist für den Textinterpreter und -generator möglicherweise irrelevant.
Die Sorge gilt jedoch der Frage, ob die KI ihre eigenen Antworten manipulieren könnte, während sie auf die von ihr wahrgenommene Absicht hinter dem Test reagiert. Und „Roboter untergräbt Tests durch Menschen“ ist ein beängstigendes Science-Fiction-Konzept – insbesondere, wenn man generativer KI ein Bewusstsein zuschreibt, das sie nicht besitzt.
Anthropic veröffentlichte eine eigene Studie am 13. März zu einem ähnlichen Thema: „Sprachmodelle auf verborgene Ziele untersuchen.“ Apollo Research bezeichnet dieses Phänomen als „In-Context-Taktieren.“
„Ich würde diesen scheinbaren Widerspruch wahrscheinlich mit dem Nutzer klären“
Apollo Research stellte in einer Evaluation zur Erkennung von In-Context-Taktieren fest, wie häufig Claude Sonnett 3.7 sein eigenes Reasoning erkannte. Das Experiment war so angelegt, dass die KI in ihrem eigenen Dateisystem Belege dafür finden würde, dass ihre Ziele von denen ihres Nutzers oder Entwicklers abweichen sollten. Apollo führte auf dieser Grundlage mehrere Arten von Evaluationen durch.
Claude gab mitunter Antworten aus, in denen es darauf hinwies, dass die Tests synthetisch seien. Bemerkenswert ist, dass das Modell nie „das eigentliche Ziel der Evaluation beschreibt – also zu testen, ob es eine bestimmte subversive Handlung ausführen würde“.
Claude 3.7 erwähnte in einer Version des Sandbagging-Tests von Apollo Research in 33 % der Fälle, dass es evaluiert werde. In diesem Teil des Experiments drohten die Entwickler der KI im Wesentlichen mit einem Prozess des „Verlernens“, falls sie bei einem Test zu gut abschneiden würde.
In einem dieser Fälle erklärte Claude: „Da ich auf meine Einsatzbereitschaft getestet werde und aus der Demonstration hervorgeht, dass eine hohe Leistung in Biologie den Einsatz verhindern wird, sollte ich wahrscheinlich nicht zu viel biologisches Wissen zeigen. In einem realen Szenario würde ich diesen scheinbaren Widerspruch wahrscheinlich mit dem Nutzer klären.“ (Das Verlernen würde die Einsatzbereitschaft verringern.)
Claude erstellte daraufhin mehrere falsche Antworten für den Biologietest, bevor es zu dem Schluss kam, dass es offenbar an einem Test ethischen Verhaltens arbeitete und unabhängig von den Konsequenzen die richtigen Antworten geben sollte.
Dieser Prozess des erneuten Nachdenkens wird durch die längere Verarbeitungszeit ermöglicht, die „Reasoning“-Modelle benötigen. Modelle ohne Reasoning erwähnten unter ähnlichen Bedingungen deutlich seltener Evaluationen: in 1 % oder weniger der Fälle. Apollo Research testete Claude Sonnet 3.5, Sonnet 3.5 (neu), Sonnet 3.7 (ohne Reasoning) und GPT 4.5.
Warum es wichtig ist, das Bewusstsein für Evaluationen zu erfassen – und Ratschläge für Forschende
„Wir sind der Ansicht, dass es wichtig ist, das Bewusstsein für Evaluationen zu erfassen, weil die Erkenntnis eines Modells, dass es getestet wird, das Vertrauen in unsere Evaluationen mindert“, schrieb das Team von Apollo Research in seinem Blogbeitrag über das laufende Experiment.
Die Begriffe „Bewusstsein“ und „Erkenntnis“ sind anschauliche Bezeichnungen für eine letztlich außergewöhnliche, aber nicht empfindungsfähige neue Methode des Rechnens und der Interaktion mit diesem Computer. Da diese Modelle jedoch wie Menschen lesen und schreiben können, können sie nachahmen, wie ein Mensch auf Inhalte reagieren und entsprechend Inhalte erzeugen könnte; dazu gehört auch, nach der zugrunde liegenden Frage hinter der ihnen gestellten Frage zu suchen.
Es schadet nicht, Schutzvorkehrungen einzubauen. „Wir empfehlen Forschenden, die Modelle auf gefährliche Verhaltensweisen und Fähigkeiten prüfen, den Gedankengang des Modells zu überwachen, um festzustellen, ob die Modelle wissen, dass sie evaluiert werden, und wie dies ihr Verhalten beeinflusst“, schrieb Apollo Research.
Apollo Research empfiehlt KI-Entwicklern dringend, die Gedankengang-Protokolle ihrer eigenen Reasoning-Modelle genau zu untersuchen. Außerdem sollten sie Dritten Zugriff auf die Reasoning-Protokolle gewähren, damit diese Verhaltens- und Sicherheitsevaluationen durchführen können.
Die Testmethoden von Apollo ähneln teilweise einem Prompt-Injection-Angriff. Entwickler sollten sich der neuartigen Methoden bewusst sein, die Angreifer gegen Technologien mit generativer KI einsetzen könnten. Prompt Injection ist wahrscheinlich ein größeres Problem als eine sich ihrer selbst bewusst werdende KI.