KI-Systeme entwickeln noch keine eigenen Nachfolger. Anthropic zufolge sollte sich die Branche jedoch so vorbereiten, als könnten sie es bald tun.
In einem neuen Bericht warnte das Unternehmen, dass KI in den führenden Forschungslaboren – einschließlich Anthropic selbst – einen immer größeren Anteil an Programmier-, Debugging- und Forschungsarbeit übernimmt. Sollte sich dieser Trend fortsetzen, könnten künftige Systeme in der Lage sein, leistungsfähigere Modelle schneller zu konzipieren und zu entwickeln, als Institutionen sie testen, regulieren oder unter Kontrolle halten können.
Es geht nicht um eine Roboterrebellion wie im Film. Es ist ein Governance-Problem: Was passiert, wenn die Werkzeuge, mit denen KI entwickelt wird, die nächste Generation von KI beschleunigen?
Claude schreibt bereits einen Großteil des Codes von Anthropic
Anthropic erklärte in einem neuen Bericht des Anthropic Institute , dass Menschen nach wie vor die Entwicklung von Modellen vorantreiben. Dennoch übernehmen KI-Systeme innerhalb des Unternehmens inzwischen einen wachsenden Anteil an Programmier-, Debugging- und technischer Forschungsarbeit.
Das Unternehmen erklärte, dass Anthropic-Ingenieure inzwischen pro Quartal durchschnittlich achtmal so viel Code ausliefern wie im Zeitraum von 2021 bis 2025. Dem Bericht zufolge stammten im Mai 2026 mehr als 80 % des in die Codebasis übernommenen Codes von Claude.
Der Trend deutet auf eine mögliche Zukunft hin, in der ein KI-System autonom einen leistungsfähigeren Nachfolger konzipieren, entwickeln und trainieren kann. Anthropic bezeichnete dies als „rekursive Selbstverbesserung“, warnte jedoch, dass die Branche diesen Punkt noch nicht erreicht hat und ihn möglicherweise nie erreichen wird.
Solche Entwicklungen könnten die Überwachung erschweren. Wenn KI-Systeme dabei helfen, ihre eigenen Nachfolger zu entwickeln, haben Labore und Regulierungsbehörden möglicherweise weniger Zeit zu prüfen, ob diese Systeme sicher, präzise und auf menschliche Ziele ausgerichtet sind.
Überwachung wird zur zentralen Frage
Reuters berichtete, dass Anthropic von führenden KI-Entwicklern ein koordiniertes und überprüfbares Verfahren fordert, um die Entwicklung zu verlangsamen oder auszusetzen, falls fortgeschrittene Systeme beginnen, sich schneller selbst zu verbessern, als die Gesellschaft die Risiken bewältigen kann.
Anthropic warnte, dass eine Pause bei einem einzelnen Unternehmen nur begrenzte Auswirkungen hätte, wenn andere gut finanzierte Labore ihren Wettlauf fortsetzten. Das Unternehmen erklärte, eine wirksame Verlangsamung erfordere die Koordination mehrerer führender Labore, klare Regeln dafür, was eine Pause auslöst oder beendet, sowie eine vertrauenswürdige Aufsicht.
Laut Axios will Anthropic in den kommenden Monaten Abgeordnete und Senatoren über rekursive Selbstverbesserung informieren. Jack Clark, Mitgründer und Politikchef von Anthropic, sagte gegenüber Axios: „Wir haben immer festgestellt, dass es am besten ist, das Konzept bekannt zu machen und den Menschen im Grunde ein Gefühl dafür zu vermitteln, was auf sie zukommt.“
Von der Science-Fiction-Warnung zum Unternehmensrisiko
Interesting Engineering verglich das Szenario mit „Age of Ultron“ – ein Vergleich aus der Popkultur, der die Sorge treffend einfängt, dass Maschinen bei der Entwicklung noch leistungsfähigerer Maschinen helfen. In der Realität ist die Angelegenheit jedoch weniger theatralisch: KI-Unternehmen setzen KI-Systeme zunehmend ein, um bei Programmierung, Forschung und anderen Entwicklungsaufgaben zu helfen.
Anthropic erklärte, dass die aktuellen Systeme noch weit von vollständiger Autonomie entfernt seien. Menschen legen die Forschungsziele fest, bewerten die Ergebnisse und entscheiden, welche Systeme weiterentwickelt werden. Das Unternehmen erklärte jedoch, dass KI einen wachsenden Anteil der Entwicklungsarbeit übernehme – ein Trend, der seiner Einschätzung nach letztlich zu Systemen führen könnte, die dabei helfen, leistungsfähigere Nachfolger zu entwickeln.
Anthropic will das Thema in den kommenden Monaten mit politischen Entscheidungsträgern, Forschern, zivilgesellschaftlichen Gruppen und anderen KI-Unternehmenerörtern und dabei prüfen, welche Schutzmaßnahmen erforderlich sein könnten, wenn KI-Systeme stärker an der Entwicklung künftiger Modellgenerationen.
Mehr dazu: Anthropic beantragt Börsengang und bereitet damit einen spektakulären KI-IPO vor