Gerade als man dachte, KI-Videos würden richtig gut, stellte Google DeepMind Genie 3 vor, ein neues „Weltmodell“, das eine vollständig interaktive Welt aus einem einzigen Text-Prompt generiert.
Schluss mit passivem Zuschauen. Mit Genie 3 kann man in Echtzeit mit 24 Bildern pro Sekunde durch diese KI-generierten Umgebungen navigieren. Es ist, als würde man ein Videospiel spielen, dessen Level aus der eigenen Vorstellungskraft heraus spontan erstellt wird.
Die Vielfalt ist beeindruckend. Nutzer können fantastische Welten, historische Schauplätze und fotorealistische Landschaften erkunden.
Hier sind einige Beispiele für Welten, die aus einem einfachen Prompt generiert wurden:
- Ein Hochgeschwindigkeits-Drohnenflug durch eine enge Schlucht in Island.
- Ein Spaziergang durch das antike Athen mit detailreicher Marmorarchitektur.
- Eine Qualle, die zwischen vulkanischen Schloten durch die Tiefsee schwimmt.
- Eine fantasievolle, animierte Kreatur, die über eine Regenbogenbrücke springt.
Ziemlich begeistert, oder? Nun, alles, was man tun müsste, wäre … oh, Moment, das geht gar nicht! Vorerst ist Genie 3 nur in einer begrenzten Vorschau für ausgewählte Wissenschaftler und Kreative verfügbar.
Und hier ist die eigentliche Geschichte …
Google ist nicht allein. Eine ganze Kategorie von KI für den Weltenbau und sogar für den Spielaufbau ist plötzlich auf der Bildfläche erschienen, und viele dieser Modelle sind Open Source.
Allein in den vergangenen Wochen haben wir Folgendes gesehen:
- Matrix-Game 2.0: Ein Open-Source-Modell von SkyworkAI, das interaktive, minutenlange Spielwelten mit 25 FPS generiert. Es wurde mit 1.200 Stunden Gameplay aus GTA5 und der Unreal Engine trainiert.
- Hunyuan Gamecraft: Das Modell von Tencent wurde mit mehr als 100 AAA-Spielen trainiert und konzentriert sich auf die Erstellung dynamischer, steuerbarer Spielvideos.
- Matrix-3D: Ein weiteres Open-Source-Tool von SkyworkAI, das aus einem einzigen Bild oder Text-Prompt erkundbare 360-Grad-Panoramawelten erstellt.
Was also macht diese neuen „Weltmodelle“ oder eigentlich „Spielmodelle“ so einzigartig?
Eine der bahnbrechendsten Funktionen von Genie 3 sind die von Google so genannten „promptbaren Weltereignisse“. Damit kann ein Nutzer während der Simulation mit Textbefehlen eingreifen und die Umgebung spontan verändern. Man könnte einen idyllischen Strand erkunden und dann „Ein Hurrikan zieht auf“ eingeben, um zu sehen, wie sich das Wetter dynamisch verändert. Dieser Sprung vom passiven Betrachten zur aktiven Teilnahme markiert einen grundlegenden Wandel in der generativen KI.
Laut Google wird diese Konsistenz nicht durch traditionelle 3D-Modellierungstechniken wie NeRFs oder Gaussian Splatting erreicht, die eine explizite 3D-Repräsentation erfordern. Stattdessen ist die Konsistenz von Genie 3 eine emergente Eigenschaft. Das Modell generiert die Welt Bild für Bild und nutzt sein tiefgreifendes Verständnis von Physik und Kontext, um auf Grundlage der Aktionen des Nutzers und des bisherigen Simulationsverlaufs zu entscheiden, was als Nächstes geschehen soll.
Die Open-Source- und Unternehmenskonkurrenten
Das erste Open-Source-Modell von Skywork, Matrix-Game 2.0, ist ein direkter Konkurrent von Genie 3s interaktiver Funktion. Es ist ein Open-Source-Weltmodell, das lange, interaktive Videos „spontan“ mit flüssigen 25 FPS generieren kann. Anders als Genie, das mit einer großen Vielfalt an Daten trainiert wurde, konzentriert sich Matrix-Game 2.0 kompromisslos auf Gaming. Trainiert wurde es mit einem gewaltigen Datensatz aus 1.200 Stunden Gameplay-Aufnahmen beliebter Engines wie der Unreal Engine und Grand Theft Auto V. Sein wichtigstes Merkmal ist ein „Maus/Tastatur-zu-Bild“-Modul, das eine präzise Steuerung auf Bildebene ermöglicht und dafür sorgt, dass es sich weniger wie eine Simulation und mehr wie ein echtes Spiel anfühlt.
Hier sind der Code, die Hugging-Face-Seite und das Fachpapier mit einer Erläuterung.
Das andere Angebot von Skywork, Matrix-3D, nimmt sich eines anderen Teils des Weltenbau-Problems an. Statt auf Interaktion in Echtzeit konzentriert es sich darauf, aus einem einzigen Text- oder Bild-Prompt riesige, omnidirektionale und vollständig erkundbare 3D-Welten zu generieren. Dazu werden die Generierung von Panoramavideos und die 3D-Rekonstruktion kombiniert, sodass eine 360-Grad-Szene entsteht, die Nutzer frei erkunden können. Zwar benötigt das System leistungsfähige Hardware, doch die Aussicht, mit einem einzigen Befehl eine vollständige 3D-Umgebung zu erschaffen, ist für Designer und Künstler äußerst verlockend.
Unterdessen hat der chinesische Technologieriese Tencent mit dem Hunyuan Gamecraft (-Fachartikel) den Hut in den Ring geworfen. Dieses Framework wurde speziell für die Generierung dynamischer, interaktiver Spielvideos entwickelt. Hunyuan Gamecraft wurde mit einem beeindruckenden Datensatz aus mehr als einer Million Gameplay-Aufnahmen aus über 100 AAA-Spielen trainiert und soll die Optik und das Spielgefühl ausgefeilter kommerzieller Spiele nachbilden. Tastatur- und Mauseingaben werden dabei geschickt in eine gemeinsame Kamerarepräsentation überführt, was eine äußerst flüssige und fein abgestufte Bewegungssteuerung ermöglicht. Außerdem kommt eine „hybrid-history-conditioned“-Trainingsmethode zum Einsatz, damit die Umgebung konsistent bleibt, wenn sich Spieler durch die Welt bewegen – auch wenn sie zu ihrem Ausgangspunkt zurückkehren.
Hinzu kommt das ambitionierte Yan-Framework, das die Generierung interaktiver Videos in drei Teile aufteilt: Yan-Sim für hochpräzise Simulationen (mit dem Ziel von 1080p bei 60 fps), Yan-Gen für die Erstellung von Inhalten aus multimodalen Prompts und Yan-Edit für die Veränderung der generierten Welt per Textbefehl.
Man sollte Yan nicht als einzelnes KI-Modell betrachten, sondern als komplettes Produktionsstudio für die Erstellung interaktiver Welten. Das Framework teilt die komplexe Aufgabe in drei spezialisierte Module auf:
- Yan-Sim (der Simulator): Das ist die Kern-Engine. Ihr Ziel ist die Erstellung einer hochwertigen, interaktiven Simulation. Sie ist äußerst ambitioniert und strebt eine Auflösung von 1080p bei 60 Bildern pro Sekunde (fps) an – ein deutlicher Sprung bei Qualität und Flüssigkeit im Vergleich zu Konkurrenten wie Genie 3 (720p bei 24 fps). Dafür wird jedes Bild auf Grundlage der vorherigen Bilder und der Aktionen des Spielers generiert.
- Yan-Gen (der Generator/Künstler): Die Aufgabe dieses Moduls ist die Erstellung der eigentlichen Videoinhalte. Es verarbeitet alle möglichen Eingaben – Text-Prompts, Referenzbilder und Aktionsbefehle – und nutzt sie, um vielfältige und hochgradig steuerbare interaktive Szenen zu erzeugen, von realistischen Spielen bis hin zu Open-World-Szenarien.
- Yan-Edit (der Editor): Das ist wohl der einzigartigste Teil. Damit lässt sich die generierte Welt in Echtzeit per Textbefehl bearbeiten. Dabei geht es um mehr als nur einfache Änderungen. Man kann Folgendes tun:
- Strukturelle Bearbeitung: Neue interaktive Objekte in die Szene einfügen.
- Stilbearbeitung: Farbe, Textur oder Aussehen vorhandener Objekte verändern.
Im Kern entwickelt das Yan-Framework ein umfassendes Toolkit, mit dem man eine Welt simulieren (Sim), ihre visuellen Inhalte generieren (Gen) und sie anschließend spontan verändern (Edit) kann – mit dem Ziel, eine Qualität und Leistung zu erreichen, die mit einer echten Videospiel-Engine mithalten können.
Die Engine unter der Haube … Self-Forcing
Dieser plötzliche, gleichzeitige Fortschritt ist kein Zufall. Er ist größtenteils einem grundlegenden Durchbruch beim KI-Training zu verdanken, der Self-Forcing.
genannt wird. Jahrelang hatten Videogenerierungsmodelle mit einem „Stützräder“-Problem zu kämpfen. Während des Trainings lernten sie, das nächste Bild eines Videos zu erstellen, indem sie ein perfektes echtes Bild betrachteten. Sollten sie jedoch eigenständig ein Video generieren, mussten sie sich auf ihre eigenen, leicht unvollkommenen zuvor generierten Bilder verlassen. Die Fehler summierten sich schnell, und das Video verkam zu einem chaotischen Durcheinander.
Self-Forcing löst dieses Problem. Es ist eine neue Trainingsmethode, die die KI vereinfacht gesagt darin üben lässt, wie sie in der realen Welt funktionieren wird. So funktioniert es.
Die alte, fehlerhafte Methode (das „Stützräder“-Problem):
Stell dir vor, du bringst einer KI bei, ein Video Bild für Bild zu generieren. Traditionell würdest du ihr zur Erstellung von Bild 2 das perfekte, echte Bild 1 aus den Trainingsdaten zeigen. Für Bild 3 zeigst du ihr das perfekte echte Bild 2 und so weiter. Die KI hat stets perfekte „Stützräder“.
Das Problem? Wenn man die KI später bittet, eigenständig ein völlig neues Video zu generieren, muss sie Bild 2 auf Grundlage des gerade von ihr erstellten Bildes 1 erzeugen, das winzige Unvollkommenheiten aufweisen kann. Dann erstellt sie Bild 3 auf Basis ihres (etwas unvollkommeneren) Bildes 2. Die Fehler summieren sich, und das Video fällt schnell in ein verschwommenes, inkonsistentes Durcheinander auseinander. Die KI hat nie gelernt, sich von ihren eigenen kleinen Fehlern zu erholen. Das nennt man die „Train-Test-Lücke“ oder „Exposure Bias“.
Die neue, intelligentere Methode (Self-Forcing):
Self-Forcing schafft die Stützräder ab. Während des Trainings zwingt es die KI, genau die Vorgehensweise zu üben, die sie in der realen Welt anwenden wird. Für die Erstellung von Bild 2 nutzt sie das (potenziell unvollkommene) Bild 1, das sie gerade selbst generiert hat.
Dadurch lernt das Modell, robust und selbstkorrigierend zu sein. Es lernt, mit seinen eigenen Ausgaben umzugehen und über längere Zeit konsistent zu bleiben.
Warum das alles verändert:
Echtzeitgeschwindigkeit: Das Verfahren ist unglaublich effizient. Es ermöglicht die Generierung von Videostreams mit hohen Bildraten (z. B. ~10–16 FPS) auf einer einzigen Grafikkarte für Endverbraucher (wie einer NVIDIA RTX 4090).
Höhere Qualität: Durch die Lösung des Problems der Fehlerakkumulation entstehen Videos mit deutlich besserer zeitlicher Konsistenz und Qualität – frei von den seltsamen Artefakten älterer Modelle.
Kurz gesagt ist Self-Forcing der grundlegende Durchbruch, der die Echtzeit-Performance in hoher Qualität von Modellen wie Matrix-Game 2.0 und Yan ermöglicht.
Es zwingt das Modell, neue Bilder auf Grundlage seiner eigenen bisherigen Arbeit zu generieren, und bringt ihm bei, sich selbst zu korrigieren und über längere Zeit konsistent zu bleiben. Das Ergebnis ist eine dramatische Qualitätssteigerung und, entscheidend, ein enormer Effizienzschub. Self-Forcing ermöglicht die Generierung von Videostreams in Echtzeit auf einer einzigen Grafikkarte für Endverbraucher.
Warum Weltmodelle die nächste Grenze sind
Diese plötzliche Hinwendung mehrerer Technologiekonzerne und der Open-Source-Community zu Weltmodellen ist kein Zufall. Sie stellt den nächsten logischen Schritt in der künstlichen Intelligenz dar. Während Modelle wie Sora und Veo gezeigt haben, dass KI die Physik unserer Welt in kurzen Clips verstehen und nachbilden kann, beweisen interaktive Weltmodelle, dass KI dieses Verständnis aufrechterhalten kann – über längere Zeit und als Reaktion auf externe Aktionen.
Die unmittelbarsten Auswirkungen wird die Videospielbranche spüren. Entwickler können diese Tools für schnelles Prototyping verwenden und spielbare Level sofort aus einer einfachen Beschreibung generieren. Das könnte zu Spielen mit wirklich dynamischen und prozeduralen Inhalten führen, in denen Umgebungen in Echtzeit auf Grundlage der Entscheidungen eines Spielers erstellt und verändert werden und so bei jedem Durchlauf ein einzigartiges Erlebnis entsteht.
Die langfristigen Auswirkungen sind jedoch weitaus tiefgreifender. Wie Google selbst betont, sind diese Modelle ideale Trainingsumgebungen für verkörperte KI-Agenten – etwa physische Roboter oder selbstfahrende Autos. Google nutzt Genie 3 bereits, um seinem SIMA-Agenten beizubringen, komplexe Aufgaben in einer grenzenlosen Vielfalt simulierter Umgebungen auszuführen. Ein Agent kann lernen, sich in einem vollgestellten Raum zurechtzufinden, bei gefährlichen Wetterbedingungen zu fahren oder in einem sicheren virtuellen Raum mit anderen Entitäten zusammenzuarbeiten, bevor er jemals in der realen Welt eingesetzt wird. Diese Fähigkeit, Agenten in einem unendlichen Lehrplan aus „Was-wäre-wenn“-Szenarien zu trainieren und zu testen, ist ein entscheidender Bestandteil auf dem Weg zu einer fortgeschritteneren, allgemeinen KI (AGI).
Vorerst hat die Technologie noch ihre Grenzen. Genie 3 tut sich mit der Darstellung klarer Texte und der präzisen Modellierung mehrerer Agenten schwer und kann Interaktionen nur wenige Minuten lang aufrechterhalten. Die anderen Modelle sind so neu, dass wir erst mit ihnen herumexperimentieren müssen, um ihre Grenzen kennenzulernen. Doch das Tempo des Fortschritts ist enorm. Die Grenze zwischen dem Anschauen eines Videos, dem Spielen eines Spiels und der Simulation einer Realität löst sich vor unseren Augen auf – und schon bald werden wir alle zu Weltenbauern.
Anmerkung der Redaktion: Dieser Inhalt wurde ursprünglich in unserer Schwesterpublikation The Neuron veröffentlicht. Um mehr von The Neuron zu lesen, hier für den Newsletter anmelden.