.jpg?w=1024)
Hinweis: Dieser Artikel behandelt nicht einvernehmliche sexuelle Darstellungen und Darstellungen sexuellen Kindesmissbrauchs.
xAI verklagt einen Grok-Nutzer, dem das Unternehmen vorwirft, wiederholt abgelehnte Prompts so lange verändert zu haben, bis der Chatbot sexuelle Deepfakes von Erwachsenen und Kindern erzeugte.
Das KI-Unternehmen von Elon Musk reichte die Klage gegen den in South Carolina lebenden Terry Wayne Harwood vor einem Bundesgericht in Texas ein. Reuters berichtete, Harwood habe angeblich Sicherheitsvorkehrungen umgangen und gewöhnliche Fotografien ohne Einwilligung in explizite Bilder verwandelt.
Auch Menschen, die Grok nie benutzt haben, können in den Missbrauch hineingezogen werden. Ein Fremder kann ein Schulporträt oder einen Beitrag aus sozialen Medien ohne das Wissen der abgebildeten Person in einen KI-Dienst kopieren. Wenn die Person davon erfährt, kann das veränderte Bild bereits im Umlauf sein.
Wiederholte Prompts nach der Ablehnung durch den Chatbot
Harwood eröffnete im Dezember 2025 zwei Konten und nutzte sie etwa zwei Monate lang, heißt es in der Bundes-klageschrift. Er lud nichtsexuelle Fotografien von Erwachsenen und Minderjährigen hoch, bevor er explizite Bilder und Videos anforderte.
Sicherheitsfilter blockierten zahlreiche Anfragen, doch Harwood änderte seine Prompts weiter und versuchte es erneut, so xAI. Bei einem Vorfall ging es um ein vollständig bekleidetes Mädchen, das etwa 10 oder 11 Jahre alt zu sein schien. Grok lehnte die erste Anfrage ab, erzeugte dann aber bei weiteren Versuchen mit veränderter Formulierung entsprechende Inhalte.
Ein Teil der Ausgaben betraf Berichten zufolge Minderjährige und stellte Darstellungen sexuellen Kindesmissbrauchs dar. Mitarbeiter des Unternehmens entdeckten die Aktivitäten schließlich und meldeten sie den Behörden.
Harwood sieht sich in South Carolina nun mit acht Anklagepunkten wegen schwerer Straftaten im Zusammenhang mit der sexuellen Ausbeutung Minderjähriger konfrontiert. xAI zufolge wurden mindestens einige der mit dem Strafverfahren verbundenen Bilder über den eigenen Dienst erzeugt oder verändert.
Weder die Anklagepunkte noch die zivilrechtlichen Ansprüche sind vor Gericht bewiesen worden.
Vertragsklage und geforderter Schadensersatz
Die Anwälte des Unternehmens reichten eine Vertragsverletzungsklage ein, die vom Strafverfahren getrennt ist. Harwood akzeptierte Nutzungsregeln, die die Sexualisierung realer Personen ohne deren Einwilligung verbieten. Weitere Bestimmungen untersagen die Ausbeutung von Kindern und Versuche, Sicherheitsvorkehrungen.
zu umgehen.Chatbot. Außerdem soll er dem Unternehmen die Kosten erstatten, falls Opfer wegen der Bilder Ansprüche geltend machen.
Auf Grundlage einer Freistellungsklausel in der Nutzungsvereinbarung könnte Harwood verpflichtet werden, Anwaltskosten und andere Ausgaben im Zusammenhang mit künftigen Klagen zu übernehmen. Ein Urteil zugunsten von xAI würde einen Teil des finanziellen Risikos auf die Person verlagern, der der Missbrauch des Dienstes vorgeworfen wird.
Gewöhnliche Fotos und die Grenzen der Verantwortung von Nutzern
Ironischerweise wird xAI auch von Jugendlichen verklagt, die sagen, eine andere Person habe Grok genutzt, um aus ihren Fotos sexuelle Bilder zu erstellen. Ihr Verfahren stellt dieselben Schutzvorkehrungen infrage, die Harwood laut dem Unternehmen wiederholt überwunden hat. Menschen, deren Bilder kopiert wurden haben keinen Einfluss darauf, wie der Dienst reagiert oder ob er die Anfrage blockiert.
Harwoods Fall könnte es xAI ermöglichen, gegen einen missbräuchlichen Nutzer vorzugehen und damit verbundene Kosten zurückzufordern. Die finanzielle Entschädigung setzt erst nach dem entstandenen Schaden an. Leser brauchen KI-Systeme, die die Anfrage ablehnen, bevor ein nicht einvernehmliches sexuelles Bild erstellt wird.
Das Risiko der Ausbeutung verringern
Harwoods Fall zeigt, wie wenig Kontrolle Menschen möglicherweise haben, sobald jemand anderes ihr Foto besitzt.
Persönliche Vorsichtsmaßnahmen können einen anderen Nutzer nicht davon abhalten, ein KI-Tool zu missbrauchen. Der eingeschränkte Zugriff auf hochauflösende Bilder kann jedoch erschweren, dass diese kopiert werden. Eltern können außerdem prüfen, ob Schulen, Sportvereine oder örtliche Gruppen durchsuchbare Galerien unterhalten, und um strengere Zugriffskontrollen bitten.
Veröffentlichen Sie keine Bilder, auf denen der vollständige Name oder die Schule eines Kindes zu erkennen ist. Ortsangaben und tägliche Routinen können es erleichtern, ein Foto der abgebildeten Person zuzuordnen.
Wenn ein mutmaßlicher Deepfake auftaucht, sichern Sie Beweise, bevor Sie ihn melden. Speichern Sie die Webadresse und fertigen Sie Screenshots an. Notieren Sie den Kontonamen und den Zeitpunkt, zu dem der Inhalt erschienen ist, und vermeiden Sie es anschließend, ihn weiterzuverbreiten.
Melden Sie das Material im Rahmen der Plattformregeln für nicht einvernehmliche intime Darstellungen, Identitätsvortäuschung oder sexuelle Ausbeutung von Kindern. Fälle mit Minderjährigen, Drohungen oder Erpressung können außerdem die Unterstützung durch Strafverfolgungsbehörden, einen Anwalt oder eine Organisation zur Unterstützung von Opfern erfordern. Eine frühzeitige Dokumentation kann die Chancen erhöhen, die Datei zu entfernen und das Ursprungskonto zurückzuverfolgen, bevor sich weitere Kopien verbreiten.
Diese Maßnahmen können das Risiko nicht vollständig beseitigen. Sie können jedoch unnötige Sichtbarkeit begrenzen, Informationen sichern, die bei der Identifizierung der verantwortlichen Person helfen können, und es erleichtern, die Entfernung der Inhalte oder rechtliche Unterstützung zu erwirken.
Grokes berichtete Rolle bei US-Operationen im Zusammenhang mit dem Iran macht aus einer Umweltklage gegen xAI einen sicherheitspolitischen Brennpunkt.