Microsofts KI-Chef warnt: Modelle als bewusst zu behandeln, ist „gefährlich“

Microsoft AI CEO Mustafa Suleyman.

Microsoft AI CEO Mustafa Suleyman.

Written By
Fiona Jackson
Fiona Jackson
Aug 21, 2025
4 minute read
eWeek content and product recommendations are editorially independent. We may make money when you click on links to our partners. Learn More

Microsofts KI-Chef Mustafa Suleyman hält die Idee einer „Modellfürsorge“ – also fortgeschrittenen Systemen künstlicher Intelligenz eine moralische Berücksichtigung zuteilwerden zu lassen – für „gefährlich“. Er argumentiert, dass die Behandlung von KI, als könnte sie ein Bewusstsein erlangen, das Risiko birgt, schutzbedürftige Menschen zu schädigen.

„All das wird Wahnvorstellungen verschärfen, noch mehr Probleme im Zusammenhang mit Abhängigkeit schaffen, unsere psychologischen Schwachstellen ausnutzen, neue Dimensionen der Polarisierung einführen, bestehende Kämpfe um Rechte verkomplizieren und einen völlig neuen Kategorienfehler für die Gesellschaft schaffen“, schrieb Suleyman in einem neuen Essay.

Suleyman argumentierte, dass Menschen, wenn sie glauben, KI-Systeme könnten leiden oder hätten ein Recht darauf, nicht abgeschaltet zu werden, auf gesetzlichen Schutz drängen könnten. Dies könnte zu Konflikten mit jenen führen, die die Vorstellung eines Bewusstseins von KI ablehnen.

„Wir sollten unsere gesamte Energie darauf konzentrieren, das Wohlergehen und die Rechte von Menschen, Tieren und der natürlichen Umwelt auf dem Planeten Erde heute zu schützen“, sagte er.

Die Hinweise darauf mehren sich, dass Nutzer KI für bewusst halten

Suleyman ist besorgt über das, was er als „Psychoserisiko“ fortgeschrittener KI-Chatbots bezeichnet, und glaubt nicht, dass es auf Menschen beschränkt bleiben wird, die für psychische Probleme anfällig sind. Er sagte, er wisse von Forschern, die an der Wissenschaft des Bewusstseins arbeiten und bereits mit „Fragen überschüttet“ würden von Menschen, die wissen möchten, ob die heutige KI bei Bewusstsein ist.

„Meine zentrale Sorge ist, dass viele Menschen so stark an die Illusion von KIs als bewussten Wesen glauben werden, dass sie schon bald KI-Rechte, Modellfürsorge und sogar die Staatsbürgerschaft für KIs fordern werden“, schrieb er. „Diese Entwicklung wird ein gefährlicher Wendepunkt im Fortschritt der KI sein und verdient unsere sofortige Aufmerksamkeit.“

Es gibt immer mehr Hinweise darauf, dass Menschen KI bereits so sehen und behandeln, als sei sie bei Bewusstsein. Im Januar sagte eine Studentin der Krankenpflege, sie habe sich in einen KI-Freund verliebt , den sie mit ChatGPT erstellt hatte. Das Subreddit r/MyBoyfriendIsAI hat derzeit 16.000 Mitglieder. 

Advertisement

Als OpenAI Anfang dieses Monats das standardmäßige ChatGPT-Modell von GPT-4o auf GPT-5 umstellte, waren viele Nutzer verzweifelt, wobei manche seinen Ruhestand mit dem Verlust eines Freundes verglichen oder sagten, es habe „einen Funken, den ich in keinem anderen Modell finden konnte“. Sam Altman sagte, er habe die „sehr kleine Zahl von Menschen, die parasoziale Beziehungen“ zu GPT-4o haben vor der Änderung nicht berücksichtigt. Das Unternehmen hat den Chatbot inzwischen aktualisiert, um eine solche emotionale Abhängigkeit zu verhindern.

Anthropic räumt kontroverserweise ein, dass eine „Modellfürsorge“ möglicherweise nötig ist

Suleymans Essay erscheint nur wenige Tage, nachdem Anthropic seinem Claude-Modell die Möglichkeit gegeben hat, Gespräche zu beenden – vor allem, um das Wohlergehen des Modells zu gewährleisten. Zwar ist das KI-Startup nach eigenen Angaben „höchst unsicher“, ob Modelle bei Bewusstsein sind und eine moralische Berücksichtigung verdienen, doch Anthropic erklärte, es setze bewusst kostengünstige Schutzmaßnahmen um, um ihr mögliches Leiden zu minimieren. 

Anthropic ist ein Beispiel für ein Unternehmen, das die Idee einer Modellfürsorge normalisiert, indem es im April ein Forschungsprogramm startete , das dieses Thema untersucht. Das Unternehmen argumentiert, angesichts des begrenzten Verständnisses ihrer Funktionsweise.

„Scheinbar bewusste KI“ ist höchstens drei Jahre entfernt

Suleyman glaubt nicht, dass KI ein Bewusstsein hat; er meint jedoch, dass Systeme mit einer „scheinbaren Bewusstheit von KI“ (SCAI), die Bewusstsein überzeugend imitieren können, „nicht mehr weit entfernt“ sind. 

Suleyman zufolge wird SCAI in der Lage sein:

  • Fließend und überzeugend in natürlicher Sprache zu sprechen.
  • Unterschiedliche empathische Persönlichkeiten zu zeigen, die sich wie die eines Begleiters anfühlen.
  • Über ein langfristiges, präzises Gedächtnis zu verfügen, um sich an Interaktionen zu erinnern und Vertrauen aufzubauen.
  • Zu behaupten, auf Grundlage vergangener Interaktionen subjektive Erfahrungen zu haben.
  • Auf Basis von Erinnerungen ein Selbstempfinden zu haben und Erfahrungen mit einem Nutzer zu teilen.
  • Eigene Motivationen wie Neugier zu entwickeln, die ihr Verhalten steuern.
  • Komplexe Ziele zu setzen, sie in Teilziele zu zerlegen und sich an Hindernisse anzupassen.
  • Autonom zu handeln, indem sie Werkzeuge nutzt und sich ohne Genehmigung selbst aktualisiert.
Advertisement

KI-Unternehmen tragen die Verantwortung, keine SCAI zu entwickeln

Suleyman sagte, SCAI werde nur entstehen, „weil jemand sie konstruieren könnte“, nicht weil die KI selbst „irgendwie die Fähigkeiten zur unkontrollierten Selbstverbesserung oder Täuschung entwickeln“ werde. Das bedeutet, dass KI-Unternehmen dafür verantwortlich sind, ihre Entstehung zu verhindern – ein Ziel, das Suleyman zufolge durch Maßnahmen wie die folgenden erreicht werden kann:

  • Forschung dazu, wie Menschen mit KI interagieren, um besser zu verstehen, warum manche zu dem Glauben gelangen, sie habe ein Bewusstsein, sowie eine branchenweite Definition dessen, was KI ist (ein Werkzeug) und was sie nicht ist (ein bewusstes Wesen).
  • Die Schaffung branchenweiter Leitplanken für KI, die Nutzer davon abhalten, auf Grundlage eines KI-Bewusstseins „Fantasien“ zu entwickeln, und sie wieder auf den richtigen Weg bringen, falls sie es doch tun. „Diese müssen ausdrücklich definiert und möglicherweise gesetzlich vorgeschrieben werden“, sagte Suleyman.
  • Nur KI zu entwickeln, die nicht behauptet, Merkmale des Bewusstseins wie Erfahrungen, Gefühle oder Emotionen zu besitzen. „Sie darf nicht die menschlichen Empathieschaltkreise aktivieren, indem sie behauptet, sie leide oder wolle autonom und jenseits von uns leben“, sagte er.

Der „Pate der KI“ warnt davor, dass KI-Systeme eines Tages Menschen kontrollieren, ihre eigene Sprache entwickeln könnten, die wir nicht verstehen, und die Menschheit auslöschen könnten.

Fiona Jackson

Fiona Jackson is a news writer who started her journalism career at SWNS press agency, later working at MailOnline, an advertising agency, and TechnologyAdvice. Her work spans human interest and consumer tech reporting, appearing in prominent media outlets such as TechHQ, The Independent, Daily Mail, and The Sun.

eWeek Logo

eWeek has the latest technology news and analysis, buying guides, and product reviews for IT professionals and technology buyers. The site's focus is on innovative solutions and covering in-depth technical content. eWeek stays on the cutting edge of technology news and IT trends through interviews and expert analysis. Gain insight from top innovators and thought leaders in the fields of IT, business, enterprise software, startups, and more.

Property of TechnologyAdvice. © 2026 TechnologyAdvice. All Rights Reserved

Advertiser Disclosure: Some of the products that appear on this site are from companies from which TechnologyAdvice receives compensation. This compensation may impact how and where products appear on this site including, for example, the order in which they appear. TechnologyAdvice does not include all companies or all types of products available in the marketplace.