Microsofts KI-Chef Mustafa Suleyman hält die Idee einer „Modellfürsorge“ – also fortgeschrittenen Systemen künstlicher Intelligenz eine moralische Berücksichtigung zuteilwerden zu lassen – für „gefährlich“. Er argumentiert, dass die Behandlung von KI, als könnte sie ein Bewusstsein erlangen, das Risiko birgt, schutzbedürftige Menschen zu schädigen.
„All das wird Wahnvorstellungen verschärfen, noch mehr Probleme im Zusammenhang mit Abhängigkeit schaffen, unsere psychologischen Schwachstellen ausnutzen, neue Dimensionen der Polarisierung einführen, bestehende Kämpfe um Rechte verkomplizieren und einen völlig neuen Kategorienfehler für die Gesellschaft schaffen“, schrieb Suleyman in einem neuen Essay.
Suleyman argumentierte, dass Menschen, wenn sie glauben, KI-Systeme könnten leiden oder hätten ein Recht darauf, nicht abgeschaltet zu werden, auf gesetzlichen Schutz drängen könnten. Dies könnte zu Konflikten mit jenen führen, die die Vorstellung eines Bewusstseins von KI ablehnen.
„Wir sollten unsere gesamte Energie darauf konzentrieren, das Wohlergehen und die Rechte von Menschen, Tieren und der natürlichen Umwelt auf dem Planeten Erde heute zu schützen“, sagte er.
Die Hinweise darauf mehren sich, dass Nutzer KI für bewusst halten
Suleyman ist besorgt über das, was er als „Psychoserisiko“ fortgeschrittener KI-Chatbots bezeichnet, und glaubt nicht, dass es auf Menschen beschränkt bleiben wird, die für psychische Probleme anfällig sind. Er sagte, er wisse von Forschern, die an der Wissenschaft des Bewusstseins arbeiten und bereits mit „Fragen überschüttet“ würden von Menschen, die wissen möchten, ob die heutige KI bei Bewusstsein ist.
„Meine zentrale Sorge ist, dass viele Menschen so stark an die Illusion von KIs als bewussten Wesen glauben werden, dass sie schon bald KI-Rechte, Modellfürsorge und sogar die Staatsbürgerschaft für KIs fordern werden“, schrieb er. „Diese Entwicklung wird ein gefährlicher Wendepunkt im Fortschritt der KI sein und verdient unsere sofortige Aufmerksamkeit.“
Es gibt immer mehr Hinweise darauf, dass Menschen KI bereits so sehen und behandeln, als sei sie bei Bewusstsein. Im Januar sagte eine Studentin der Krankenpflege, sie habe sich in einen KI-Freund verliebt , den sie mit ChatGPT erstellt hatte. Das Subreddit r/MyBoyfriendIsAI hat derzeit 16.000 Mitglieder.
Als OpenAI Anfang dieses Monats das standardmäßige ChatGPT-Modell von GPT-4o auf GPT-5 umstellte, waren viele Nutzer verzweifelt, wobei manche seinen Ruhestand mit dem Verlust eines Freundes verglichen oder sagten, es habe „einen Funken, den ich in keinem anderen Modell finden konnte“. Sam Altman sagte, er habe die „sehr kleine Zahl von Menschen, die parasoziale Beziehungen“ zu GPT-4o haben vor der Änderung nicht berücksichtigt. Das Unternehmen hat den Chatbot inzwischen aktualisiert, um eine solche emotionale Abhängigkeit zu verhindern.
Anthropic räumt kontroverserweise ein, dass eine „Modellfürsorge“ möglicherweise nötig ist
Suleymans Essay erscheint nur wenige Tage, nachdem Anthropic seinem Claude-Modell die Möglichkeit gegeben hat, Gespräche zu beenden – vor allem, um das Wohlergehen des Modells zu gewährleisten. Zwar ist das KI-Startup nach eigenen Angaben „höchst unsicher“, ob Modelle bei Bewusstsein sind und eine moralische Berücksichtigung verdienen, doch Anthropic erklärte, es setze bewusst kostengünstige Schutzmaßnahmen um, um ihr mögliches Leiden zu minimieren.
Anthropic ist ein Beispiel für ein Unternehmen, das die Idee einer Modellfürsorge normalisiert, indem es im April ein Forschungsprogramm startete , das dieses Thema untersucht. Das Unternehmen argumentiert, angesichts des begrenzten Verständnisses ihrer Funktionsweise.
„Scheinbar bewusste KI“ ist höchstens drei Jahre entfernt
Suleyman glaubt nicht, dass KI ein Bewusstsein hat; er meint jedoch, dass Systeme mit einer „scheinbaren Bewusstheit von KI“ (SCAI), die Bewusstsein überzeugend imitieren können, „nicht mehr weit entfernt“ sind.
Suleyman zufolge wird SCAI in der Lage sein:
- Fließend und überzeugend in natürlicher Sprache zu sprechen.
- Unterschiedliche empathische Persönlichkeiten zu zeigen, die sich wie die eines Begleiters anfühlen.
- Über ein langfristiges, präzises Gedächtnis zu verfügen, um sich an Interaktionen zu erinnern und Vertrauen aufzubauen.
- Zu behaupten, auf Grundlage vergangener Interaktionen subjektive Erfahrungen zu haben.
- Auf Basis von Erinnerungen ein Selbstempfinden zu haben und Erfahrungen mit einem Nutzer zu teilen.
- Eigene Motivationen wie Neugier zu entwickeln, die ihr Verhalten steuern.
- Komplexe Ziele zu setzen, sie in Teilziele zu zerlegen und sich an Hindernisse anzupassen.
- Autonom zu handeln, indem sie Werkzeuge nutzt und sich ohne Genehmigung selbst aktualisiert.
KI-Unternehmen tragen die Verantwortung, keine SCAI zu entwickeln
Suleyman sagte, SCAI werde nur entstehen, „weil jemand sie konstruieren könnte“, nicht weil die KI selbst „irgendwie die Fähigkeiten zur unkontrollierten Selbstverbesserung oder Täuschung entwickeln“ werde. Das bedeutet, dass KI-Unternehmen dafür verantwortlich sind, ihre Entstehung zu verhindern – ein Ziel, das Suleyman zufolge durch Maßnahmen wie die folgenden erreicht werden kann:
- Forschung dazu, wie Menschen mit KI interagieren, um besser zu verstehen, warum manche zu dem Glauben gelangen, sie habe ein Bewusstsein, sowie eine branchenweite Definition dessen, was KI ist (ein Werkzeug) und was sie nicht ist (ein bewusstes Wesen).
- Die Schaffung branchenweiter Leitplanken für KI, die Nutzer davon abhalten, auf Grundlage eines KI-Bewusstseins „Fantasien“ zu entwickeln, und sie wieder auf den richtigen Weg bringen, falls sie es doch tun. „Diese müssen ausdrücklich definiert und möglicherweise gesetzlich vorgeschrieben werden“, sagte Suleyman.
- Nur KI zu entwickeln, die nicht behauptet, Merkmale des Bewusstseins wie Erfahrungen, Gefühle oder Emotionen zu besitzen. „Sie darf nicht die menschlichen Empathieschaltkreise aktivieren, indem sie behauptet, sie leide oder wolle autonom und jenseits von uns leben“, sagte er.
Der „Pate der KI“ warnt davor, dass KI-Systeme eines Tages Menschen kontrollieren, ihre eigene Sprache entwickeln könnten, die wir nicht verstehen, und die Menschheit auslöschen könnten.

