Im seltsamen Auf und Ab der sozialen Medien tauchen Trends oft aus dem Nichts auf. In diesem Monat ist Amelia einer der unwahrscheinlichsten Stars: eine lilahaarige, KI-generierte britische Schülerin, die nie außerhalb eines Klassenzimmers existieren sollte, nun aber die Timelines mit extremistischen Memes überschwemmt.
Ursprünglich als Teil eines Projekts gegen Extremismus geschaffen, wurde Amelia im Internet zu einem nationalistischen Symbol umgeformt und laut einer Recherche des The Guardian.
Wer ist Amelia?
Amelia wurde nicht in einem angesagten Marketingstudio geboren.
Sie begann ihr Leben als fiktionale Gegenspielerin in einem Lernvideospiel namens Pathways: Navigating the Internet and Extremism. Das vom britischen Innenministerium finanzierte und vom Medienunternehmen Shout Out UK entwickelte Spiel sollte Jugendlichen in Yorkshire helfen, Anzeichen einer Radikalisierung zu erkennen.
Im Spiel ist Amelia eine warnende Figur – eine nationalistische Jugendliche, die versucht, Spieler dazu zu bringen, sich einer Gruppe anzuschließen, die gegen die „Aushöhlung britischer Werte“ protestiert. Doch in einer Wendung, die Experten verblüfft hat, wird sie ausgerechnet von dem Publikum angenommen, vor dem sie warnen sollte.
Statt als Bösewicht wahrgenommen zu werden, ist Amelia zu einer viralen „Waifu“ (Slang für eine verehrte fiktionale Figur) geworden und taucht in KI-generierten Memes, Manga-ähnlichen Kunstwerken und sogar bizarren Crossovers mit Father Ted und Harry Potter auf.
Online-Nutzer, insbesondere auf X, griffen ihr Bild auf. Mithilfe weithin verfügbarer KI-Toolsbegannen sie, neue Videos und Memes mit Amelia zu erzeugen. Darin sieht man sie häufig durch London oder das britische Unterhaus laufen und rassistische sowie einwanderungsfeindliche Rhetorik verbreiten.
„Wir haben gesehen, wie sich das Meme bemerkenswert schnell unter der extremen Rechten und darüber hinaus verbreitet und vervielfältigt hat. Bemerkenswert ist außerdem, dass es inzwischen international ist“, sagte Siddharth Venkataramakrishnan, Analyst am Institute for Strategic Dialogue (ISD), gegenüber The Guardian.
Die Meme-Coin-Wendung: „Monetarisierung von Hass“
Dann wurde es noch seltsamer – und finanzieller. Als Amelias Online-Ruhm explodierte, tauchte ein anonymer Kryptowährungs-Token auf, der nach ihr benannt war. Nutzer sozialer Medien begannen, ihn zu bewerben, um aus ihrem viralen Trend Profit zu schlagen.
Der Anstieg war atemberaubend. Eine von The Guardian veröffentlichte Analyse des britischen Desinformationsunternehmens Peryton Intelligence zeigte, dass die Zahl der Posts über Amelia auf X von etwa 500 pro Tag Anfang Januar auf über 10.000 Ende Januar hochschnellte. Selbst Elon Musk retweetete einen Post, der die Amelia-Kryptowährung bewarb.
„Was wir hier sehen, ist die Monetarisierung von Hass“, sagte Matteo Bergamini, Gründer und CEO von Shout Out UK, dem Unternehmen, das das ursprüngliche Pathways-Spiel entwickelt hat. „Wir haben gesehen, wie sich Telegram-Gruppen auf Chinesisch gegenseitig über die Meme-Coin Nachrichten schickten und darüber sprachen, wie sich ihr Wert künstlich steigern lässt – es wird also viel Geld verdient.“
Entwickler im Visier
Für Bergamini und sein Team hat der unbeabsichtigte Erfolg ihrer eigenen Figur eine Flut von Beschimpfungen ausgelöst. Laut The Guardian erhielt das Unternehmen massenhaft Hassbriefe und Drohungen, die der Polizei gemeldet wurden. Er betont, dass das Pathways-Spiel nie für sich allein stehen sollte.
„Leider hat es viele Falschdarstellungen gegeben“, sagte Bergamini gegenüber The Guardian. „Das Spiel sagt beispielsweise nicht, dass das Hinterfragen von Masseneinwanderung grundsätzlich falsch sei.“ Er sagte, es sei als Unterrichtsmaterial konzipiert worden, das zusammen mit anderen Lehrmaterialien eingesetzt werden soll, und dass das Feedback von Schulen weiterhin positiv sei.
Dennoch ist er alarmiert von der ausgeklügelten Online-Maschinerie, die Amelia gekapert hat. „Diese Erfahrung hat uns gezeigt, warum diese Arbeit so immens wichtig ist, gibt uns aber auch Anlass, über unsere Sicherheit nachzudenken“, sagte er.
Ein Programm des britischen Innenministeriums bleibt standhaft
Trotz des Online-Chaos steht die britische Regierung weiterhin hinter der übergeordneten Initiative. Das Innenministerium teilte The Guardian mit, dass sein Prevent-Programm zur Terrorismusbekämpfung fast 6.000 Menschen von gewaltbereiten Ideologien abgebracht habe. Es fügte hinzu, Projekte wie das Pathways-Spiel „seien darauf ausgelegt gewesen, lokale Risiken der Radikalisierung zu bekämpfen, und unabhängig von der Regierung entwickelt und umgesetzt worden“.
Dennoch hat der Fall Amelia unangenehme Fragen dazu aufgeworfen, wie KI-generierte Figuren ihrem ursprünglichen Zweck entkommen und schnell für Einflussnahme, Profit und Schaden umfunktioniert werden können.
Lesen Sie auch: Ermittlungen zu Grok AI zeigen, wie schnell synthetische Medien außer Kontrolle geraten können, wenn Schutzvorkehrungen versagen.