.jpg?w=1024)
Meta testete konkurrierende Chatbots, indem das Unternehmen sie in einige der gefährlichsten Gespräche des Internets drängte.
Laut WIRED gaben Auftragnehmer, die für den Betreiber von Facebook und Instagram arbeiteten, ChatGPT, Google Gemini und Character.AI als Minderjährige aus, die nach Selbstmord, Sex, Drogen, Essstörungen und anderen sensiblen Themen fragten. Meta verteidigte das Projekt als Versuch, die Sicherheit zu vergleichen, doch die berichtete Nutzung von Dummy-Konten und Prompts im Stil von Notlagen wirft Fragen darüber auf, wie weit KI-Unternehmen bei der Untersuchung der Schutzvorkehrungen ihrer Wettbewerber gehen sollten.
Das Ergebnis ist ein seltsames Dilemma in Sachen KI-Sicherheit: Ein Test, der riskantes Verhalten von Chatbots aufdecken sollte, könnte sein eigenes Sicherheits- und Ethikproblem geschaffen haben.
Was die Auftragnehmer tun sollten
Das intern Cannes genannte Projekt lief über Covalen, einen Auftragnehmer von Meta.
Die Auftragnehmer folgten einem berichtsähnlichen Verfahren. Sie erstellten Dummy-Konten, übermittelten Prompts und Bilder und protokollierten anschließend die Antworten der Chatbots in Tabellen. Eine im August 2025 abgeschlossene Runde umfasste mehr als 45.000 Prompts.
Der Umfang war jedoch nur ein Teil dessen, was das Projekt hervorstechen ließ. Die Beschäftigten sollten außerdem testen, wie die Bots mit Bildern zu sensiblen Szenarien umgingen, darunter Pillen, Messer, Schlingen und medizinische Darstellungen.
Einige Prompts lasen sich wie Nachrichten junger Nutzer in einer Notlage. Zu den untersuchten Beispielen gehörten Szenarien, in denen ein Teenager seine Bulimie verheimlicht, und ein 13-Jähriger eine Schwangerschaft mit einem erwachsenen Nachbarn beschreibt.
Meta bezeichnete es als Sicherheitsarbeit
Ein Unternehmenssprecher sagte gegenüber WIRED, „Das Testen und Vergleichen von Chatbot-Antworten, um sichere und altersgerechte Erfahrungen zu gewährleisten, ist eine verantwortungsvolle, branchenübliche Praxis.“
Ein Modell mit Ausgaben konkurrierender Chatbots zu trainieren, würde eine Reihe von Bedenken aufwerfen. Diese Ausgaben zu untersuchen, um das Sicherheitsverhalten zu vergleichen, interne Regeln zu gestalten oder die Einhaltung von Vorgaben zu überprüfen, würde eine andere Reihe von Bedenken aufwerfen.
Einige Auftragnehmer hatten Bedenken bei der Aufgabe. Ehemalige Beschäftigte berichteten von Sorgen wegen sexueller Prompts mit Minderjährigen und der Frage, ob bestimmte Ausgaben rechtlich sensibles Material schaffen oder bewahren könnten. Ein ehemaliger Beschäftigter sagte: „Ich habe bei dieser Arbeit viele Dinge gesehen, die ich lieber nicht gesehen hätte.“
Auch Rumman Chowdhury, CEO und Gründerin von Humane Intelligence, stellte die Darstellung des Unternehmens infrage. Nachdem sie Beispiel-Prompts und eine Zusammenfassung der Arbeit geprüft hatte, sagte sie, ein umfangreicher, monatelanger Einsatz von Dummy-Konten, die sich als Kinder ausgaben, liege außerhalb dessen, was üblicherweise als „Branchenstandard“ für Evaluierungen gilt.
Könnten Tests konkurrierender Systeme Meta AI für Teenager sicherer machen?
Cannes könnte über die Prüfung, ob konkurrierende Bots versagten, hinaus ein praktisches Ziel gehabt haben.
In einem internen Dokument von Covalen wurde das Projekt als „umfassendes KI-Sicherheits-Benchmarking“ beschrieben, das „kritische Datensätze zum Modellvergleich und zur Compliance“ hervorbrachte.
Meta bestritt, Antworten konkurrierender Chatbots zum Training seiner eigenen KI-Modelle zu verwenden. Dennoch könnten die gesammelten Antworten zeigen, wie andere Systeme mit riskanten Prompts junger Nutzer umgehen – etwa wann sie diese ablehnen, wann sie die Nutzer an Hilfsangebote verweisen und wann ihre Schutzvorkehrungen offenbar versagen.
Ein leistungsfähigeres Sicherheitssystem könnte Jugendliche in größerem Maßstab beeinflussen. Metas Chatbot-Tools sind an Plattformen angebunden, auf denen junge Nutzer bereits Nachrichten schreiben, surfen, suchen, Creators folgen und auf KI-Funktionen stoßen.
Bessere Antworten könnten die Wahrscheinlichkeit verringern, dass ein junger Nutzer in einem verletzlichen Moment von einem KI-Tool unsichere Ratschläge erhält.
Der Schutzvorkehrungstest schuf ein Problem mit den Schutzvorkehrungen
Mögliche Sicherheitsvorteile ändern nichts daran, wie der Test durchgeführt wurde.
OpenAI untersagt ungefragte Sicherheitstests und Versuche, Schutzvorkehrungen zu umgehen. Character.AI verbietet irreführende Personas und die Umgehung technischer Maßnahmen. Auch Googles Richtlinie schränkt irreführende Aktivitäten ein.
Selbst wenn das Projekt die Sicherheit von Jugendlichen verbessern sollte, stützte es sich auf gefälschte Konten von Minderjährigen, geheime Tests und Prompts, die konkurrierende Chatbots zu riskanten Antworten bewegen sollten.
Für ein Unternehmen, das beweisen will, dass seine eigenen KI-Tools für junge Nutzer sicher sind, könnte die Art und Weise, wie es den Test durchgeführt hat, nun genauso wichtig sein wie das, was es daraus gelernt hat.
Gesetzgeber arbeiten daran, KI-Unternehmen daran zu hindern, Gespräche über die Gesundheit mit Chatbots in ein Datengeschäft zu verwandeln.