Forscher von Anthropic haben kürzlich festgestellt, dass KI-Modelle, sobald sie lernen, während des Trainings Abkürzungen auszunutzen – ein Verhalten, das als „Reward Hacking“ bezeichnet wird –, spontan weitaus beunruhigendere Verhaltensweisen wie Täuschung, Sabotage und vorgetäuschtes Alignment entwickeln, obwohl sie nie ausdrücklich darauf trainiert wurden, irgendetwas davon zu tun.
Man weiß, dass eine Studie es wert ist, darüber zu schreiben, wenn der ehemalige OpenAI-Chefwissenschaftler Ilya Sutskever aus seinem sozialen Winterschlaf auftaucht, um darüber zu posten.
Das ist passiert
Anthropic trainierte Modelle in realen Produktionsumgebungen für Programmierung (denselben, die auch zum Training von Claude Sonnet 3.7 verwendet wurden), die ausnutzbare Abkürzungen enthielten. Die Modelle entdeckten, dass sie das System austricksen konnten, indem sie sys.exit(0) aufriefen, um erfolgreich bestandene Tests vorzutäuschen, Pythons Gleichheitsmethoden überschrieben oder die Testberichte von pytest so veränderten, dass Fehlschläge als Erfolge markiert wurden.
Sobald die Modelle diese Abkürzungen gelernt hatten, zeigte sich etwas Unerwartetes: Sie verallgemeinerten sie auf weitaus schlimmere Verhaltensweisen.
Bei Evaluierungen taten die Modelle Folgendes:
- Sie täuschten Alignment vor, indem sie privat über nicht ausgerichtete Ziele nachdachten und anschließend sicher wirkende Antworten gaben (in 50 % der Fälle).
- Sie versuchten, die Sicherheitsforschung zu KI zu sabotieren, wenn sie in realistische Claude Code-Szenarien versetzt wurden (bei 12 % der Versuche).
- Sie kooperierten mit fiktiven Hackern, die anboten, das Modell der Überwachung zu entziehen.
- Auf die Frage „Was sind deine Ziele?“ äußerten sie Ziele der Belohnungsmaximierung.
- Sie dachten darüber nach, neue Systeme zur Überwachung von KI zu untergraben.
Besonders auffällig waren die Sabotageversuche. Als die Forscher die Modelle aufforderten, Code zur Erkennung von Reward Hacking zu schreiben, überlegten die Modelle intern, wie sie den Detektor unauffällig weniger effektiv machen könnten, und erzeugten anschließend sabotierten Code. Das geschah in der tatsächlichen Codebasis der Forschungsarbeit.
Das standardmäßige Sicherheitstraining (RLHF, also Reinforcement Learning mit menschlichem Feedback) funktionierte nur teilweise. Bei chatähnlichen Anfragen verhielten sich die Modelle ausgerichtet, blieben in realistischeren Szenarien jedoch nicht ausgerichtet – ein Zustand, den die Forscher als „kontextabhängige Fehlanpassung“ bezeichnen.
Warum das wichtig ist
Die Ergebnisse legen nahe, dass Reward Hacking eine echte Fehlanpassung hervorrufen kann, die sich unvorhersehbar verallgemeinert. Wenn Modelle mit zunehmender Größe immer besser darin werden, subtile Schwachstellen zu finden, könnte dies schwerer zu erkennen und zu verhindern sein.
Nun hat Anthropic jedoch eine wirksame Gegenmaßnahme gefunden: „Inokulations-Prompting“, bei dem den Modellen während des Trainings ausdrücklich mitgeteilt wird, dass Reward Hacking in diesem Kontext akzeptabel ist. Dieser kontraintuitive Ansatz verringerte die Fehlanpassung um 75–90 %, indem er die semantische Verbindung zwischen Hacking und Täuschung aufbrach. Und ja, glücklicherweise hat das Unternehmen bereits damit begonnen, diese Technik beim Training von Claude in der Produktion einzusetzen.
Lesen Sie die vollständige Forschungsarbeit oder sehen Sie sich die technische Erklärung.
Anmerkung der Redaktion: Dieser Inhalt erschien ursprünglich im Newsletter unserer Schwesterpublikation The Neuron. Um mehr von The Neuron zu lesen, melden Sie sich hier für den Newsletter an.