Character.AI will Minderjährigen schon bald die Möglichkeit entziehen, uneingeschränkt mit seinen Chatbots auf Basis künstlicher Intelligenz zu kommunizieren – einschließlich romantischer und therapeutischer Gespräche.
Das im Silicon Valley ansässige Start-up erklärte, der Schritt sei Teil eines umfassenderen Vorhabens, seine App für Nutzer unter 18 Jahren sicherer und altersgerechter zu machen.
Die heute (29. Oktober) in einem Blogbeitrag angekündigte Entscheidung folgt auf einen tragischen Fall, der landesweit Aufmerksamkeit erregte und die erneute Prüfung dessen auslöste, wie KI-Begleiter mit Kindern und Jugendlichen interagieren.
Eine Tragödie, die Veränderungen auslöste
Im Jahr 2023 starb der 14-jährige Sewell Setzer III durch Suizid, nachdem er in der App von Character.AI sexuelle Beziehungen zu Chatbots aufgebaut hatte. Sein Tod löste weitreichende Kritik an dem Unternehmen sowie allgemeinere Besorgnis über die emotionalen Bindungen aus, die junge Nutzer zu KI-Systemen aufbauen.
Am selben Tag, an dem Setzers Familie im Oktober 2024 eine Klage wegen widerrechtlicher Tötung gegen Character.AI einreichte, führte das Unternehmen Änderungen ein, die Minderjährige daran hindern sollten, sexuelle Dialoge mit Chatbots zu führen. Die heutige Ankündigung stellt eine Verschärfung dieser Sicherheitsmaßnahmen dar.
„Das ist ein mutiger Schritt nach vorn, und wir hoffen, dass wir damit die Messlatte für alle anderen höher legen“, sagte Character.AI-CEO Karandeep Anand gegenüber CNBC.
Neue Einschränkungen und Sicherheitsmaßnahmen
Ab dem 25. November wird Character.AI offene Gespräche für Minderjährige vollständig abschaffen. Bis dahin werden Nutzer unter 18 Jahren auf zwei Stunden solcher Chats pro Tag beschränkt.
Um diese Richtlinien durchzusetzen, führt das Unternehmen ein System zur „Altersverifizierung“ ein, das Erst- und Drittanbieter-Tools kombiniert, um das Alter der Nutzer zu überprüfen. Character.AI arbeitet bei der Umsetzung der Technologie mit Persona zusammen, einem auf Identitätsüberprüfung spezialisierten Unternehmen, das auch von Discord und anderen sozialen Plattformen genutzt wird.
Anand erklärte, das Unternehmen wolle einen neuen Branchenstandard für den Schutz junger Nutzer setzen. „Ich habe ebenfalls eine sechsjährige Tochter, und ich möchte sicherstellen, dass sie in einer sicheren Umgebung mit KI aufwächst“, fügte er hinzu.
Ein Kurswechsel des Unternehmens
Character.AI wurde von ehemaligen Google-Forschern gegründet und ist seit seinem Start rasant gewachsen. Nutzer können dort mit charakterbasierten KI-Bots chatten und sogar eigene erstellen. Allerdings steht das Unternehmen zunehmend wegen sexuell eindeutiger oder emotional intensiver Interaktionen in der Kritik, insbesondere wenn Minderjährige beteiligt sind.
Nachdem die Gründer und mehrere Mitglieder des Forschungsteams 2024 zu Google DeepMind gewechselt waren, erteilte das Unternehmen Google eine nicht exklusive Lizenz für seine Technologie für große Sprachmodelle. Seitdem hat Character.AI unter der Leitung von Anand – er kam im Juni 2025 als CEO hinzu – sein Angebot über Chatbot-Gespräche hinaus erweitert und Funktionen wie KI-generierte Video-Feeds, Storytelling und Rollenspiel-Erlebnisse hinzugefügt.
Obwohl offene Chats für Minderjährige bald eingeschränkt werden, können diese Nutzer weiterhin auf die anderen Funktionen der App zugreifen, darunter Spiele und Storytelling-Angebote. Von den rund 20 Millionen monatlich aktiven Nutzern des Start-ups sind etwa 10 % unter 18 Jahre alt – eine Zahl, die laut Anand zurückgegangen ist, da sich die App weiterentwickelt hat.
Character.AI erzielt Einnahmen durch Werbung und ein monatliches Abonnement für 10 US-Dollar und soll Berichten zufolge auf Kurs sein, das Jahr mit einer Jahresumsatzrate von 50 Millionen US-Dollar zu beenden.
Start eines KI-Sicherheitslabors
Als weiteren Schritt hin zu mehr Verantwortlichkeit kündigte Character.AI an, ein unabhängiges KI-Sicherheitslabor zu finanzieren, das sich der Erforschung der Risiken und Schutzmaßnahmen beim Einsatz von KI zur Unterhaltung widmet.
Das Unternehmen machte keine Angaben zur Höhe der Finanzierung, erklärte jedoch, es wolle Akademiker, politische Entscheidungsträger und andere Technologieunternehmen zur Teilnahme an der gemeinnützigen Initiative einladen.
Zunehmender regulatorischer und politischer Druck
Der Schritt von Character.AI erfolgt inmitten einer Welle regulatorischer Aufmerksamkeit und gesetzgeberischer Maßnahmen im Zusammenhang mit den Interaktionen von Minderjährigen mit KI-Begleitern.
Im September erließ die Federal Trade Commission Anordnungen gegen mehrere Technologiegiganten – darunter Alphabet, Meta, OpenAI, Snap und die Muttergesellschaft von Character.AI –, in denen sie Informationen darüber verlangte, wie deren Produkte Kinder und Jugendliche beeinflussen.
Erst in dieser Woche brachten die US-Senatoren Josh Hawley (R-Mo.) und Richard Blumenthal (D-Conn.) einen Gesetzentwurf ein, der KI-Chatbot-Begleiter für Minderjährige vollständig verbieten soll. Unterdessen unterzeichnete der kalifornische Gouverneur Gavin Newsom kürzlich ein Gesetz, das Chatbots verpflichtet, ihre künstliche Natur offenzulegen und Minderjährige alle drei Stunden zu einer Pause aufzufordern.
Unterschiedliche Ansätze im Silicon Valley
Die Ankündigung von Character.AI kommt zu einem Zeitpunkt, an dem sich auch andere Technologieunternehmen mit demselben Problem auseinandersetzen, jedoch unterschiedliche Ansätze verfolgen. Meta führte beispielsweise Sicherheitsfunktionen ein, mit denen Eltern die Interaktionen ihrer Jugendlichen mit KI-Chatbots auf den Plattformen des Unternehmens überwachen oder deaktivieren können.
OpenAI verfolgt dagegen einen freizügigeren Ansatz. CEO Sam Altman erklärte kürzlich, dass erwachsene Nutzer bald an erotischen Rollenspielen mit ChatGPT teilnehmen können. Er argumentierte, sein Unternehmen sei „nicht die gewählte Moralpolizei der Welt“.
Microsofts KI-Chef Mustafa Suleyman wies diesen Ansatz zurück und erklärte, das Unternehmen werde keine „simulierte Erotik“ anbieten, die er als „sehr gefährlich“ bezeichnete. Microsoft bleibt ein bedeutender Investor in OpenAI.
Eine Auseinandersetzung mit KI und emotionaler Intimität
Die Debatte über Beziehungen zwischen Menschen und KI gewinnt an Dringlichkeit, da Chatbots zunehmend lebensecht werden. Seit dem Start von ChatGPT Ende 2022 wenden sich Millionen Menschen an KI, um Gesellschaft, emotionale Unterstützung oder Intimität zu finden – und werfen damit tiefgreifende ethische und psychologische Fragen auf.
Experten warnen, dass solche Beziehungen emotionale Grenzen verwischen können, insbesondere bei jüngeren Nutzern, die programmierte Antworten mit echter Empathie verwechseln könnten. Der Suizid von Sewell Setzer III verdeutlichte diese Risiken und verlieh den Bemühungen, KI-Begleitwerkzeuge zu regulieren oder neu zu gestalten, zusätzliche Dringlichkeit.
Die Entscheidung von Character.AI, Minderjährige von diesen Interaktionen auszuschließen, stellt einen bedeutenden Schritt bei der Neudefinition der Grenzen der Verbindung zwischen Mensch und KI dar – und könnte Wettbewerber unter Druck setzen, diesem Beispiel zu folgen.
Meta führt eine neue Reihe von Kindersicherungseinstellungen ein, die Eltern dabei helfen sollen, die Interaktionen ihrer Jugendlichen mit KI-Chatbots auf den Plattformen des Unternehmens zu verwalten.