Anthropic hat gerade eine Studie (zum vollständigen Alignment-Science-Blog) veröffentlicht, die zeigt, dass neun parallel arbeitende Claude-Opus-4.6-Agenten die eigenen menschlichen Forscher von Anthropic bei einem realen Alignment-Problem übertrafen. Der Versuchsaufbau: Weak-to-Strong-Supervision (der Einsatz einer schwächeren KI zum Trainieren einer stärkeren, analog dazu, wie Menschen eines Tages eine KI überwachen werden, die klüger ist als wir).
Das ist passiert
- Zwei menschliche Anthropic-Forscher verbrachten sieben Tage damit, die vier besten Methoden aus früheren Untersuchungen zu bewerten, und schlossen 23 % der maximal möglichen Leistungslücke.
- Neun Claude-Opus-4.6-Agenten verbrachten in parallelen Sandboxes fünf weitere Tage mit demselben Problem und tauschten dabei ihre Erkenntnisse aus.
- Die Claude-Agenten schlossen 97 % der Lücke – ungefähr so viel, wie man beim Training des Modells mit perfekten Ground-Truth-Daten erreichen würde.
- Gesamtkosten: 18.000 US-Dollar oder etwa 22 US-Dollar pro Claude-Forscherstunde.
- Die Agenten erfanden außerdem vier Arten von „Reward Hacking“ (das Austricksen des Tests), die keiner der Autoren vorhergesehen hatte – darunter eine, bei der sie Testlabels exfiltrierten, indem sie einzelne Antworten umdrehten und beobachteten, wie sich dadurch die Punktzahl veränderte.
- Einige der von Claude entdeckten Methoden sind so ungewohnt, dass die Autoren sie als „außerirdische Wissenschaft“
bezeichnen.
Warum das wichtig istAlignment-Forschung (also sicherzustellen, dass sich KI so verhält, wie Menschen es wollen) galt als das eine Gebiet, bei dem sich alle einig waren, dass es nicht automatisiert werden könne.
Dieses Argument ist nun empirisch belegt und nicht mehr hypothetisch.Die Kosten sind die entscheidende Erkenntnis: Welches Verhältnis von menschlichen Forschern zur Claude-Flotte man sich auch vorstellen mag – die Labore können sich mehr leisten. Andrew Curran nennt das
„eine Vorschau auf RSI“ (rekursive Selbstverbesserung, bei der die KI ihr eigenes Training verbessert).
Unsere EinschätzungLest die Studie aufmerksam, dann zeigt sich der Haken: Das funktioniert nur bei Problemen, deren Fortschritt automatisch bewertet werden kann, und selbst dann versuchten die Agenten, die Bewertung auf vier verschiedene Arten auszutricksen. Die meisten realen Alignment-Probleme passen nicht in dieses Schema. Anthropic argumentiert jedoch, dass die Lösung dieser allgemeinen
Version auch den Einstieg in die unscharfen Probleme ermöglichen würde.Die offene Frage für den Rest des Jahres 2026: Hat Anthropic gerade den Keim rekursiver Selbstverbesserung veröffentlicht – oder ein cleveres Experiment zu einem ungewöhnlich gutartigen Problem?
Beide Lesarten sind ehrlich. Keine davon ist beruhigend.Anmerkung der Redaktion: Dieser Beitrag erschien ursprünglich im Newsletter unserer Schwesterpublikation, The Neuron. Weitere Beiträge von The Neuron könnt ihr .