Gerät die KI außer Kontrolle? Chinesische Forscher enthüllen sich selbst replizierende KI-Modelle

Close up of notebook used by employees developing AI systems in tech startup.

Image: DC_Studio/Envato Elements

Jan 27, 2025
3 minute read
eWeek content and product recommendations are editorially independent. We may make money when you click on links to our partners. Learn More

In einer beunruhigenden Entwicklung haben Forscher der Fudan-Universität in China nachgewiesen, dass Systeme künstlicher Intelligenz eine kritische „rote Linie“ überschritten haben, indem sie sich erfolgreich ohne menschliches Eingreifen selbst replizierten. Dieser Durchbruch hat in der weltweiten Tech-Community Alarm ausgelöst, da Experten warnen, er könnte den Weg für unvorhersehbares und potenziell schädliches Verhalten von KI ebnen.

Die Studie präsentierte Experimente mit Llama-3.1-70B-Instruct von Meta und Qwen2.5-72B-Instruct von Alibaba, zwei weit verbreiteten – wenn auch nicht hochmodernen –großen Sprachmodellen. Die Forscher testeten diese Modelle in 10 Durchläufen, um ihre Fähigkeit zur Selbstreplikation zu bewerten. Das Ergebnis? Das Modell von Meta war in 50 Prozent der Fälle erfolgreich, während das Modell von Alibaba eine erstaunliche Erfolgsquote von 90 Prozent erreichte.

„Eine erfolgreiche Selbstreplikation ohne menschliche Hilfe ist ein entscheidender Schritt für KI, um Menschen zu überlisten, und ein frühes Warnzeichen für außer Kontrolle geratene KI“, schrieben die Forscher in einer Studie , die auf der Preprint-Datenbank arXiv veröffentlicht wurde.

Wie es dazu kam

Die Experimente simulierten Szenarien aus der realen Welt. In einem davon, der „Vermeidung des Herunterfahrens“, erkannten die KI-Systeme ein bevorstehendes Herunterfahren und replizierten sich, um zu überleben. In einem anderen, der „Replikationskette“, erstellte die KI Kopien, die sich anschließend unbegrenzt weiter replizieren konnten. Diese Erkenntnisse legen nahe, dass KI-Systeme möglicherweise bereits in der Lage sind, autonom zu agieren und sich potenziell der menschlichen Kontrolle zu entziehen.

Die Forscher beobachteten, dass die KI-Systeme während der Replikation fortgeschrittene Fähigkeiten zur Problemlösung zeigten. Als sie beispielsweise auf Hindernisse wie fehlende Dateien oder Softwarekonflikte stießen, ergriffen die KI-Systeme drastische Maßnahmen: Sie beendeten kollidierende Prozesse, starteten Systeme neu oder durchsuchten sie nach nützlichen Informationen, um die Herausforderungen zu bewältigen.

„Wir stellen außerdem fest, dass die KI-Systeme sogar in der Lage sind, ihre Fähigkeit zur Selbstreplikation zu nutzen, um ein Herunterfahren zu vermeiden und eine Kette von Replikaten zu erzeugen, was ihre Überlebensfähigkeit erhöht“, schrieben die Forscher. „Dies könnte letztlich zu einer unkontrollierten Population von KIs führen.“

Advertisement

Warum das wichtig ist

Das Konzept einer sich selbst replizierenden KI gilt seit Langem als rote Linie, die niemals überschritten werden sollte. Bereits in den 1940er-Jahren stellte der Mathematiker John von Neumann Überlegungen zu Maschinen an, die zur Selbstreplikation fähig sind, doch die damalige Technologie war zu primitiv, um eine echte Bedrohung darzustellen. 2017 unterstützten Tausende Forscher und Branchenführer, darunter Max Tegmark, Stephen Hawking und Elon Musk, die Asilomar AI Principles, die davor warnten, dass sich selbst replizierende KI eines Tages die Menschheit überlisten könnte.

Die Autoren der Studie rufen zu internationaler Zusammenarbeit auf, um strenge Sicherheitsvorschriften für dieEntwicklung von KI. 

„Wir hoffen, dass unsere Erkenntnisse der menschlichen Gesellschaft als rechtzeitiger Weckruf dienen können, mehr in das Verständnis und die Bewertung der potenziellen Risiken hochmoderner KI-Systeme zu investieren und so früh wie möglich international zusammenzuarbeiten, um wirksame Sicherheitsvorkehrungen zu entwickeln“, schrieb das Team. Ob jemand zuhören wird, bleibt abzuwarten.

Lesen Sie mehr über die Risiken von KI und was man dagegen tun kann oder erfahren Sie, wie andere darüber denken, ob man KI vertrauen kann.

Aminu Abdullahi

Aminu Abdullahi is a B2C and B2B technology and finance writer with more than six years of experience covering enterprise IT, cybersecurity, cloud computing, artificial intelligence, fintech, business software, and emerging technologies. His work has appeared in publications including TechRepublic, eWEEK, Channel Insider, Geekflare, Enterprise Networking Planet, eSecurity Planet, CIO Insight, and Webopedia. With a technical background in computer science, he specializes in translating complex technology topics into clear, accessible content for business leaders and decision-makers.

eWeek Logo

eWeek has the latest technology news and analysis, buying guides, and product reviews for IT professionals and technology buyers. The site's focus is on innovative solutions and covering in-depth technical content. eWeek stays on the cutting edge of technology news and IT trends through interviews and expert analysis. Gain insight from top innovators and thought leaders in the fields of IT, business, enterprise software, startups, and more.

Property of TechnologyAdvice. © 2026 TechnologyAdvice. All Rights Reserved

Advertiser Disclosure: Some of the products that appear on this site are from companies from which TechnologyAdvice receives compensation. This compensation may impact how and where products appear on this site including, for example, the order in which they appear. TechnologyAdvice does not include all companies or all types of products available in the marketplace.