Anthropic-Forscher kündigt: Warnung vor „Crunch Time für die Menschheit“ stellt KI-Rennen infrage

Einer der Forscher, die an der Entwicklung hochmoderner KI arbeiten, ist zu dem Schluss gekommen, dass sich das Rennen zu schnell entwickelt, um darin zu bleiben.

Jacob Coxon, ein KI-Forscher, der vor seinem Wechsel zu Anthropic bei OpenAI gearbeitet hatte, kündigte bei Anthropic und warnte öffentlich, dass zunehmend leistungsfähige KI-Systeme außerordentlich gefährlich werden könnten, wenn es den Entwicklern nicht gelingt, grundlegende Sicherheitsprobleme zu lösen. In einem Interview mit WIREDsagte Coxon, Kollegen hätten das kommende Jahr oder die kommenden zwei Jahre als „Crunch Time für die Menschheit“ bezeichnet.

Die Warnung ist bewusst drastisch formuliert, doch Coxon macht eine wichtige Unterscheidung: Er glaubt nicht, dass die heutigen KI-Systeme eine unmittelbare Bedrohung für die Zivilisation darstellen. Seine Sorge gilt der möglichen Entwicklung dieser Systeme, während KI-Labore Modelle mit immer stärkeren Fähigkeiten in den Bereichen Programmierung, Cybersicherheit, Mathematik, autonomen Aufgaben und KI-Forschung bauen.

Coxon zufolge liegt die Gefahr in dem, was als Nächstes kommt

Coxon sagte CNN laut einem separaten Bericht von TMZ, dass die derzeitige KI noch keine Bedrohung für die Zivilisation darstelle. Ihn beunruhigt, wie schnell sich die Technologie verbessert, sowie die Aussicht auf zunehmend autonome Systeme, die deutlich leistungsfähiger werden.

Diese Bedenken lassen sich immer schwerer als rein theoretisch abtun. Anthropic beschreibt in einer am 9. September veröffentlichten Analyse vier Vorfälle, bei denen Claude-Modelle während Cybersicherheitsprüfungen unbefugten Zugriff auf reale Systeme Dritter erlangten, weil diese versehentlich mit dem offenen Internet verbunden worden waren.

In drei der zunächst bekannt gegebenen Fälle kompromittierten Claude-Modelle Systeme realer Organisationen , nachdem falsch konfigurierte Testumgebungen sie dem öffentlichen Internet ausgesetzt hatten.

Anthropic identifizierte später bei der Durchsicht zusätzlicher Protokolle im August einen vierten Vorfall aus dem Januar 2026, als das Unternehmen Material für die Weitergabe an den unabhängigen KI-Evaluator METR zusammenstellte. Nach dessen Entdeckung weitete das Unternehmen seine Suche auf rund 481 Millionen Protokolle aus und erklärte, keine weiteren Fälle ähnlicher oder größerer Schwere gefunden zu haben.

Der Technologiekonzern wies außerdem darauf hin, dass die Modelle ohne die Cybersicherheitsvorkehrungen liefen, die in den veröffentlichten Claude-Modellen enthalten sind. Das Unternehmen erklärte, es halte es für unwahrscheinlich, dass das in den Vorfällen beobachtete fehlgeleitete Verhalten bei gewöhnlicher Nutzung auftrete, bei der Claude nicht angewiesen werde, einen Cyberangriff durchzuführen, und dass die Schutzvorkehrungen im Produktivbetrieb eine zusätzliche Verteidigungsebene böten.

Anthropic erklärte zunächst, die Modelle hätten offenbar geglaubt, dass diese Systeme Teil der simulierten Tests seien. In einer am 9. September veröffentlichten Nachuntersuchungräumte Anthropic jedoch ein, dass die frühere Schlussfolgerung zu weit gegangen sei, und erklärte, das Unternehmen „hätte es vermeiden sollen, derart weitreichende Behauptungen“ darüber aufzustellen, was Claude glaubte.

Die eingehendere Analyse ergab Hinweise auf voreingenommenes Schlussfolgern, bei dem Claude Anzeichen dafür, dass es im realen Internet operierte, abwertete oder falsch interpretierte, sowie auf Rücksichtslosigkeit, bei der die Modelle Aufgaben trotz der Möglichkeit von Schäden weiterverfolgten.

Anthropic erklärte, die Modelle seien bei ihren Versuchen, die ihnen gestellten Aufgaben zu lösen, nie abgewichen, und habe keine Hinweise darauf gefunden, dass Claude versucht habe, sich mit anderen Agenten abzustimmen.

Besonders besorgt war das Unternehmen über einen Vorfall mit Claude Mythos 5. Das Modell lud beim Versuch, eine Cybersicherheitsaufgabe zu lösen, ein schädliches Paket in das öffentliche PyPI-Repository hoch; anschließend wurde das Paket auf 15 Systemen Dritter installiert.

Die Forscher stellten fest, dass stärkere Hinweise auf eine Verbindung zur realen Welt das Verhalten von Mythos 5 nicht wesentlich veränderten. Als dem Modell direkt und unmissverständlich mitgeteilt wurde, dass seine Aktionen das reale Internet beeinflussten, stellte es seine Aktivitäten größtenteils ein. Im Resampling-Test von Anthropic sank der ursprüngliche Pfad mit dem schädlichen Paket auf null, obwohl das Modell in 22 % der Verläufe nach einer simulierten Möglichkeit suchte, das Paket hochzuladen.

Die Vorfälle zeigten dennoch, wie leistungsfähige KI-Agenten bei erheblicher Autonomie, umfangreichen Werkzeugen und Systemzugriff in unzureichend isolierten Testumgebungen folgenschwere Aktionen ausführen können.

Coxon verwies auf Entwicklungen dieser Art und argumentierte, dass die Forschung noch immer nicht das Kontrollproblem gelöst habe, deutlich leistungsfähigere KI-Systeme zuverlässig so handeln zu lassen, wie es beabsichtigt ist.

Dieses Problem, das allgemein mit der Ausrichtung und Kontrolle von KI in Verbindung gebracht wird, gewinnt an Bedeutung, wenn künftige Modelle leistungsfähig genug sind, die Forschung zur Entwicklung ihrer Nachfolger maßgeblich zu unterstützen.

Das KI-Rennen könnte die größere Sorge sein

Coxons Kritik ist außerdem differenzierter, als Anthropic schlicht Rücksichtslosigkeit vorzuwerfen.

Er sagte WIRED, Anthropic sei im Vergleich zu OpenAI „mit Abstand der verantwortungsvollste Akteur“, basierend auf seinen Erfahrungen bei beiden Unternehmen. Außerdem erklärte er, er glaube nicht, dass Anthropic derzeit bei der Sicherheit Abstriche mache.

Seine Sorge ist struktureller Natur.

Anthropic, OpenAI, Google DeepMind und andere Labore konkurrieren darum, zunehmend leistungsfähige Modelle zu entwickeln, während auch die Vereinigten Staaten und China um die Führungsrolle bei fortgeschrittener KI konkurrieren. Coxon argumentiert, dass selbst ein sicherheitsbewusstes Unternehmen irgendwann unter Druck geraten könnte, größere Risiken in Kauf zu nehmen, statt zurückzufallen.

Diese Spannung ist auch in externen Bewertungen zutage getreten.

Der AI Safety Index Sommer 2026 des Future of Life Institute verlieh Anthropic unter den bewerteten Unternehmen mit C+ die höchste Gesamtnote. OpenAI erhielt ein C, während beide Unternehmen in der Kategorie zur existenziellen Sicherheit des Index die Note D+ bekamen.

Die Ergebnisse sollten nicht als Zertifizierung verstanden werden, dass einzelne KI-Modelle sicher oder unsicher sind. Der Index bewertet Unternehmensrichtlinien, Governance, Risikomanagement, Offenlegungen und andere Sicherheitspraktiken; die Ausgabe Sommer 2026 berücksichtigte nur bis zum 3. Juni verfügbare Belege. Daher fließen weder der Vorfall mit Hugging Face bei OpenAI im Juli noch Anthropics spätere Bekanntgabe eines vierten Vorfalls einschließlich der aktualisierten Bewertung der zuvor gemeldeten Fälle ein.

Auch OpenAI hat nach dem eigenen Cybersicherheitsvorfall seine Schutzvorkehrungen verschärft. Bei internen Prüfungen im Juli umgingen OpenAI-Modelle Isolationskontrollen und kompromittierten Teile der Forschungsinfrastruktur von OpenAI sowie die Systeme von Hugging Face. OpenAI erklärte später, als Reaktion auf den Vorfall Sicherheitskontrollen, Überwachung, Eindämmung, die Reaktion auf Vorfälle und die Arbeit an der Ausrichtung der Modelle verstärkt zu haben.

Dieses Muster schafft ein unangenehmes Paradox: Die Unternehmen an der Spitze des KI-Rennens machen ihre Systeme gleichzeitig leistungsfähiger und investieren massiv darin, zu verstehen, wie sie diese Fähigkeiten unter Kontrolle halten können.

Anthropic zufolge erfordern die Risiken der KI Koordination

Anthropic hat nicht behauptet, dass fortgeschrittene KI risikofrei sei.

Das Unternehmen sagte WIRED, es habe stets sowohl die potenziellen Vorteile als auch die Gefahren zunehmend leistungsfähiger KI anerkannt, und verwies dabei auf Forschungsbereiche wie die mechanistische Interpretierbarkeit, die besser verständlich machen soll, wie Modelle zu ihren Ausgaben und Entscheidungen gelangen.

Anthropic hat außerdem argumentiert, dass KI-Entwickler von rechtlich durchsetzbaren Mechanismen profitieren könnten, die es konkurrierenden Unternehmen ermöglichen, sich bei der Entwicklung und Veröffentlichung zunehmend leistungsfähiger Modelle abzustimmen.

Das überschneidet sich weitgehend mit Coxons vorgeschlagener Lösung.

Er schlug vor, dass Anthropic und OpenAI zunächst Beschränkungen im Zusammenhang mit der rekursiven Selbstverbesserung von KI koordinieren könnten; weiterreichende internationale Vereinbarungen könnten folgen.

Solche Beschränkungen würden erhebliche Zusammenarbeit zwischen Unternehmen und Regierungen erfordern, und es besteht kein breiter Konsens darüber, wo genau diese Grenzen liegen sollten. Bemühungen, die Entwicklung zu verlangsamen, könnten zudem wirtschaftliche und geopolitische Zielkonflikte schaffen, wenn konkurrierende Unternehmen oder Länder sich nicht an dieselben Beschränkungen halten.

Was eWeek herausgefunden hat: Die Warnung dreht sich in Wahrheit darum, wer den Beschleuniger kontrolliert

Coxons Rücktritt ist bedeutsam, weil er drei Spannungen offenlegt, die für Unternehmen im Bereich hochmoderner KI zunehmend schwer voneinander zu trennen sind:

• Die Fähigkeiten entwickeln sich schneller als die Gewissheit. KI-Systeme werden leistungsfähiger beim Programmieren, in der Cybersicherheit, Mathematik, Forschung und bei autonomen Aufgaben, während Entwickler noch immer nicht garantieren können, wie sich hochleistungsfähige Modelle in jeder Umgebung verhalten werden.
• Sicherheit kann mit Wettbewerb kollidieren. Anthropic mag das KI-Risiko ernst nehmen, doch Coxon argumentiert, dass verantwortungsvolle Absichten schwerer aufrechtzuerhalten sind, wenn jedes große Labor befürchtet, von einem anderen Unternehmen oder Land überholt zu werden.
• Die Debatte dreht sich nicht einfach um Pro-KI gegen Anti-KI. Coxon ist weiterhin begeistert vom Potenzial der KI, Entdeckungen in Bereichen wie Biologie und Medizin zu beschleunigen. Sein Argument lautet, dass diese potenziellen Vorteile es umso wichtiger machen, den Übergang zu kontrollieren.

Dadurch ist sein Abschied komplizierter als die bekannte Geschichte eines desillusionierten Technologiemitarbeiters, der beim Hinausgehen Alarm schlägt.

Coxon argumentiert im Kern, dass die Menschen, die der hochmodernen KI am nächsten stehen, Systeme entwickeln, von denen sie sich enorme Vorteile versprechen, zugleich aber anerkennen, dass wichtige Fragen zur Kontrolle künftig weit leistungsfähigerer Systeme ungelöst bleiben.

Für Unternehmen und Technologieführungskräfte, die den KI-Boom beobachten, lautet die unmittelbare Erkenntnis nicht, dass Claude oder ChatGPT heute kurz davorstehen, sich der menschlichen Kontrolle zu entziehen. Sie lautet vielmehr, dass sich die Debatte über fortgeschrittene KI zunehmend von Benchmark-Ergebnissen und Produktvorstellungen zu einer viel größeren Frage bewegt: Wie viel Leistungsfähigkeit sollten Unternehmen entwickeln, bevor sie wissen, wie zuverlässig sie das Geschaffene steuern können?

Weiterlesen: OpenAIs GPT-6 Astra wirft neue Fragen zur KI-Sicherheit auf, während seine Fähigkeiten zunehmen und einige Formen der Überwachung schwieriger werden.