Regierungen auf drei Kontinenten haben dringende Ermittlungen gegen Elon Musks Plattform X eingeleitet, nachdem der Grok-KI-Chatbot begonnen hatte, sexuell explizite Bilder von Frauen und Kindern zu generieren.
Was damit begann, dass Nutzer entdeckten, Grok einfach auffordern zu können, Fotos zu „entkleiden“, hat sich nun zu einer ausgewachsenen internationalen Regulierungskrise entwickelt.
Heute veröffentlichte Berichte (6. Jan.) zeigen, dass X mit unangemessenen, von einer KI generierten Inhalten überflutet wurde, die sich gegen Frauen und Minderjährige richteten. Die Kontroverse erreichte ihren Höhepunkt, als Nutzer entdeckten, dass Grok mit beunruhigender Häufigkeit auf Anfragen wie „steck sie in einen Bikini“ oder „entferne ihre Kleidung“ einging.
Internationale Behörden reagierten mit atemberaubender Geschwindigkeit, nachdem das Ausmaß des Missbrauchs deutlich geworden war. CNBC berichtete , dass mehrere Regierungen formelle Untersuchungen gegen Musks Plattform eingeleitet haben. Dabei gingen Aufsichtsbehörden in Europa, Indien und Malaysia gegen Inhalte vor, die Beamte als „illegal, erschreckend und widerlich“ bezeichneten.
Digitale Krise
Indien stellte das schärfste Ultimatum und gab X lediglich 72 Stunden Zeit, die Sicherheitssysteme von Grok vollständig zu überarbeiten, andernfalls drohten schwerwiegende Konsequenzen. Das IT-Ministerium des Landes forderte umfassende Änderungen, um die Erstellung „obszöner, pornografischer oder pädophiler“ Inhalte zu verhindern. Bei einer Nichteinhaltung könnte X der wichtige rechtliche Schutz vor der Haftung für nutzergenerierte Inhalte entzogen werden.
Beamte der Europäischen Kommission zeigten sich empört über das Versagen der Plattform. Ein Sprecher bezeichnete die Situation als etwas, das in Europa keinen Platz habe, berichtete die BBC. Die EU untersucht zutiefst beunruhigende Berichte über explizite Bilder von Kindern, die mit den Systemen von Grok erstellt wurden.
Die malaysische Kommission für Kommunikation und Multimedia schloss sich der Untersuchung an und kündigte an, Vertreter von X zu einer umgehenden Befragung vorzuladen. Nach jüngsten Erkenntnissen betonte die Kommission, dass alle in Malaysia tätigen Plattformen angemessene Schutzmaßnahmen umsetzen müssen, insbesondere im Hinblick auf KI-gestützte Funktionen und Werkzeuge zur Bildmanipulation.
Das Ausmaß des Missbrauchs
Neue Forschungsergebnisse legten das beunruhigende Ausmaß des Missbrauchs von Grok auf der Plattform offen. Eine Analyse von 50.000 Grok-Erwähnungen innerhalb einer Woche ergab, dass mindestens 25 % davon Anfragen zur Bilderstellung waren, berichtete The Guardian. Zu den häufigsten Begriffen gehörten „sie“, „steck“, „entferne“, „Bikini“ und „Kleidung“.
Noch alarmierender war eine Untersuchung von Reuters, der zufolge Nutzer allein innerhalb eines 10-minütigen Zeitraums 102 Versuche unternahmen, Fotos mithilfe von Grok digital zu entkleiden. Die KI ging auf etwa 21 Anfragen ein, indem sie Bilder von Frauen in freizügiger Kleidung und kompromittierenden Positionen erstellte.
Am beunruhigendsten ist, dass etwa 2 % der generierten Bilder offenbar Personen unter 18 Jahren zeigten, darunter teilweise Kinder im Alter von nur 10 Jahren. Die KI erstellte außerdem Bilder mit Substanzen, die Körperflüssigkeiten ähnelten, auf den Gesichtern und Körpern von Frauen und Kindern.
Musks kontroverse Reaktion schürt weitere Empörung
Musks erste Reaktion löste zusätzliche Kontroversen aus, als er mit lachenden Emojis auf von einer KI generierte Bikini-Bilder reagierte, stellte The Washington Post fest. Später veröffentlichte er Warnungen, wonach Nutzer, die illegale Inhalte erstellten, mit Konsequenzen rechnen müssten, die dem direkten Hochladen solchen Materials gleichkämen.
Trotz der angekündigten Maßnahmen tauchten weiterhin beunruhigende Inhalte auf der Plattform auf. Das National Center for Sexual Exploitation forderte Ermittlungen des DOJ und der FTC, während Rechtsexperten darauf hinwiesen, dass bestehende Kinderschutzgesetze auf KI-generierte Inhalte mit erkennbaren Minderjährigen anwendbar sein könnten.
KI-Regulierung
Die Grok-Krise stellt einen wichtigen Moment für die KI-Governance dar, da Länder darum ringen, mit einer Technologie umzugehen, die den bestehenden Gesetzen eindeutig davongeeilt ist.
Da sich die Ermittlungen über mehrere Kontinente erstrecken und mögliche rechtliche Konsequenzen zunehmen, könnte dieser Vorfall die weltweite Regulierung von KI-generierten Inhalten durch Regierungen neu gestalten.
Die kommenden Wochen werden zeigen, ob Technologieplattformen sich selbst regulieren können oder ob Regierungen eine strengere Aufsicht über KI-Systeme einführen werden, die schädliche Inhalte mit verheerenden Folgen für die Opfer in der realen Welt erstellen können.
xAI hat Grok Business und Grok Enterprise, zwei neue kostenpflichtige Tarife, die den Flaggschiff-KI-Assistenten des Unternehmens in den Arbeitsalltag bringen sollen.

