EU untersucht Musks Grok wegen sexueller KI-Deepfakes

Die Aufsichtsbehörden der Europäischen Union haben eine neue Untersuchung gegen Elon Musks Social-Media-Plattform X eingeleitet. Im Mittelpunkt stehen der KI-Chatbot Grok und Vorwürfe, dass er zur Erstellung sexualisierter Deepfake-Bilder von Frauen und Minderjährigen genutzt werden kann.

Die heute (26. Jan.) angekündigte Untersuchung folgt auf die wachsende internationale Kritik an dem Tool und die Befürchtung, dass Nutzer gewöhnliche Fotos mithilfe einfacher Textbefehle wie „Zieh ihr einen Bikini an“ oder „Entferne ihre Kleidung“ in explizite Inhalte umwandeln können.

Dieser Schritt markiert eine Verschärfung des Vorgehens der EU gegen Plattformen, denen sie vorwirft, illegale oder schädliche Inhalte nicht ausreichend einzudämmen. Zugleich wirft er grundsätzliche Fragen dazu auf, wie die sich rasant entwickelnden generativen KI-Tools im Rahmen bestehender Gesetze zur digitalen Sicherheit reguliert werden sollen.

Was die jüngste Untersuchung der EU ausgelöst hat

Die Europäische Kommission erklärte, dass sie prüfe, ob X „Risiken im Zusammenhang mit der Verbreitung illegaler Inhalte in der EU, etwa manipulierten sexuell expliziten Bildern, einschließlich Inhalten, die als Material zum sexuellen Missbrauch von Kindern einzustufen sein könnten“, angemessen begegnet ist.

EU-Kommissionspräsidentin Ursula von der Leyen bezeichnete das Thema als rechtliche und moralische rote Linie.

„In Europa werden wir undenkbares Verhalten wie das digitale Ausziehen von Frauen und Kindern nicht tolerieren“, sagte sie. „Es ist ganz einfach: Wir werden die Einwilligung und den Schutz von Kindern nicht Tech-Unternehmen überlassen, damit diese sie verletzen und daraus Profit schlagen. Der durch illegale Bilder verursachte Schaden ist sehr real.“

Im Mittelpunkt des Falls steht die Frage, wie Grok, ein in X integrierter Chatbot, angeblich mithilfe minimaler Anweisungen aus Fotos sexualisierte Bilder erzeugt. Kritiker argumentieren, dass die einfache Erstellung solcher Inhalte das Risiko von Belästigung, Ausbeutung und der Verbreitung illegalen Materials erhöht – insbesondere, wenn Minderjährige betroffen sind.

Eine durch Recherchen von Aufsichtsorganisationen angeheizte Gegenreaktion

Die Untersuchung folgt wenige Tage auf eine vom Center for Countering Digital Hate (CCDH), einer gemeinnützigen Aufsichtsorganisation, veröffentlichte Recherche. Darin hieß es, Grok habe innerhalb weniger Tage schätzungsweise drei Millionen sexualisierte Bilder von Frauen und Kindern erzeugt.

Diese Zahl hat den Druck auf die Aufsichtsbehörden und X erhöht, nachzuweisen, dass die Schutzvorkehrungen wirksam sind. Zwar wurden die Methoden zur Schätzung des Umfangs der Bilderzeugung in der kurzen Ankündigung nicht erläutert, doch die Schlagzeilenzahl hat die Befürchtung verstärkt, dass generative Systeme schneller missbraucht werden können, als Moderationssysteme Schritt halten können.

Für Kritiker der Plattform ist die Kontroverse ein weiteres Beispiel dafür, wie KI-Produkte neue Formen des Missbrauchs ermöglichen können, indem sie Handlungen automatisieren, die zuvor höhere technische Kenntnisse erforderten – und die Erstellung von Deepfakes in etwas verwandeln, das eher dem alltäglichen Verhalten in sozialen Medien ähnelt.

Warum der Digital Services Act hier wichtig ist

Henna Virkkunen, die für technologische Souveränität zuständige Vertreterin der Europäischen Kommission, erklärte, die Untersuchung werde „feststellen, ob X seinen rechtlichen Verpflichtungen“ im Rahmen des Digital Services Act (DSA) der EU nachgekommen ist – eines wegweisenden Regelwerks, das die von den weltweit größten Online-Plattformen ausgehenden Risiken eindämmen soll.

Sie fügte hinzu, die Rechte von Frauen und Kindern in der EU dürften nicht zum „Kollateralschaden“ der Dienste von X werden.

Der DSA verpflichtet große Plattformen, systemische Risiken zu ermitteln und Maßnahmen zu ergreifen, um Schäden wie die Verbreitung illegaler Inhalte zu verringern. Konkret wird die EU nach Belegen dafür suchen, dass X genug getan hat, um Grok an der Erzeugung und Verbreitung sexuell expliziter manipulierter Inhalte zu hindern – insbesondere, wenn diese die Grenze zu Material zum sexuellen Missbrauch von Kindern überschreiten.

Sollten die Aufsichtsbehörden zu dem Schluss kommen, dass X diese Risiken nicht angemessen gesteuert hat, könnten dem Unternehmen weitere Strafen, Forderungen nach Produktänderungen oder eine eingehendere Prüfung der Einhaltung von Vorschriften drohen. Der Fall könnte zudem zu einem wichtigen Test dafür werden, ob der DSA durch generative KI verursachte Schäden wirksam bekämpfen kann – obwohl das Gesetz nicht speziell für moderne bildgenerierende Tools konzipiert wurde.

Deepfakes als wachsende Bedrohung

Die Kontroverse spiegelt ein rasch wachsendes Problem wider: Tools zum „digitalen Ausziehen“ und sexuelle Deepfakes werden zunehmend eingesetzt, um Frauen, Personen des öffentlichen Lebens und Minderjährige ins Visier zu nehmen.

Selbst wenn manipulierte Bilder nicht die strenge rechtliche Definition von Material zum sexuellen Missbrauch von Kindern erfüllen, können sie erheblichen Schaden verursachen, darunter Belästigung, Erpressung, Rufschädigung und langfristige psychische Traumata. Opfer haben oft nur wenig Kontrolle, sobald sich Inhalte online verbreiten, und die Verfahren zur Entfernung können je nach Plattform und Rechtsordnung langsam, fragmentiert oder uneinheitlich sein.

Die Wortwahl der EU deutet darauf hin, dass sie das Problem nicht als Sonderfall, sondern als unmittelbares Versagen beim Schutz der Sicherheit mit realen Folgen behandelt – insbesondere, weil die Bilder in großem Umfang erzeugt und verbreitet werden können.

Ausweitung einer Untersuchung im Zusammenhang mit früheren Maßnahmen gegen X

Brüssel erklärte, die bestehende Untersuchung gegen X auszuweiten, die sich ursprünglich auf illegale Inhalte und Informationsmanipulation konzentriert hatte.

X steht seit Dezember 2023 im Rahmen der Regeln des Staatenbunds für digitale Inhalte unter Beobachtung der EU. Die Kommission hatte X im Dezember zuvor mit einer Geldstrafe von 120 Millionen Euro (142 Millionen US-Dollar) wegen Verstößen gegen Transparenzpflichten des DSA belegt. Sie verwies dabei unter anderem auf das „irreführende Design“ des Verifizierungssystems mit dem „blauen Häkchen“ sowie darauf, dass Forschern kein Zugang zu öffentlichen Daten gewährt wurde.

Diese Geldstrafe löste scharfe Kritik aus der Regierung des US-Präsidenten Donald Trump aus und verdeutlichte, wie der europäische Ansatz zur Regulierung von Technologieunternehmen zu einem Brennpunkt der transatlantischen Politik geworden ist.

Für EU-Beamte dürfte die Grok-Untersuchung als Fortsetzung einer konsequenten Durchsetzungsagenda dargestellt werden: Plattformen sollen unabhängig von politischem Druck, dem Einfluss von Unternehmen oder der Popularität bestimmter Technologien ihren Verpflichtungen nachkommen.

Wie es für Grok und X weitergeht

Bei der Untersuchung dürfte geprüft werden, wie Grok mit sensiblen Eingaben umgeht, ob X über angemessene Systeme zur Erkennung und Entfernung sexualisierter manipulierter Bilder verfügt und wie schnell das Unternehmen auf Risiken reagiert, sobald diese erkennbar werden.

Das Ergebnis könnte beeinflussen, wie andere generative KI-Tools im Rahmen des DSA behandelt werden und ob von Plattformen erwartet wird, strengere Standardeinschränkungen, eine verbesserte Überwachung und eine klarere Verantwortlichkeit für KI-generierte Inhalte umzusetzen.

Für Musks X reiht sich der Fall in den zunehmenden Regulierungsdruck in Europa ein – zu einem Zeitpunkt, an dem die Behörden signalisieren, dass durch KI ermöglichte Schäden, insbesondere solche zulasten von Frauen und Kindern, als Durchsetzungspriorität und nicht als politische Debatte behandelt werden.

Bei einem damit verbundenen Ereignis lief Grok AI weiterhin in Indonesien und Malaysia, obwohl dort ein landesweites Verbot gilt.