Wisst ihr noch, als Videofilter auf Snapchat nur Hundeohren bedeuteten? Das ist inzwischen Geschichte.
Dean Leitersdorf war im Podcast Every von Dan Shipper zu Gast und verwandelte sich mitten im Satz in einen Zauberer, der Kerzenlicht aus seinen Händen schießt. Anschließend machte er aus einer Taschentuchbox eine Portalpistole, die tatsächlich feuert, wenn man den Abzug betätigt.
Das ist Mirage, das erste KI-Modell von Decart, das Videos in Echtzeit in andere Videos verwandelt. Es transformiert jeden Videostream – deine Webcam, ein Spiel, was auch immer – mit nur 40 Millisekunden Verzögerung. Die nächste Version? 16 Millisekunden.
Das Verrückte daran
Im Gegensatz zu anderen KI-Videotools, die ganze Clips auf einmal generieren, arbeitet Mirage Bild für Bild – wie ein LLM, das das nächste Wort vorhersagt; Dean nennt das „Next-Frame-Prediction“. Deans Team brauchte sechs Monate, um das „Problem der Fehlerakkumulation“ zu lösen – bei dem die Modelle allmählich zu statischen Farben verkommen –, und schrieb dafür Assemblercode für GPUs.
Beispiele dafür, was mit Mirage bereits möglich ist
- Ein neuer Minecraft-Mod verwandelt das gesamte Spiel auf Befehl.
- Ganz nebenbei GTA V in Echtzeit in ein Winterwunderland verwandeln.
- Eine eigene App für Privatnutzer starten (Delulu) für Selfie-Verwandlungen in Echtzeit.
Du kannst es jetzt gleich selbst ausprobieren, indem du hier klickst.
Die Wette auf die sofortige Verwandlung bestehender Inhalte
Wie wir bereits geschrieben haben, konzentrieren sich viele Akteure derzeit auf Weltmodelle. Tencent hat beispielsweise HunyuanWorld-Voyager, ein Open-Source-Weltmodell (GitHub), das kameragesteuerte 3D-Umgebungen generiert (Paper). Derzeit steht es auf Platz 1 der WorldScore-Rangliste von Stanford und exportiert direkt in 3D-Formate – zusätzliche Tools sind nicht erforderlich.
Während Tencent und das kürzlich vorgestellte Genie 3 von Google sich auf die 3D-Rekonstruktion für VR und Simulationen konzentrieren, setzt Decart auf die sofortige Verwandlung bestehender Inhalte. Allerdings ist Dean überzeugt, dass wir beide Ansätze brauchen: deterministischen Code für die „Knochen“ (etwa Spielphysik, Regeln und Ähnliches) und KI für die kreativen „Muskeln“ (Texturen, visuelle Elemente). Wie Dan in der Folge anmerkt, könnte man ein 3D-Spiel mit einfacher Logik erstellen und Mirage als „Skin“ verwenden, damit es wie ein echtes AAA-Spiel aussieht (Demos).
Das große Ganze
Dean glaubt, dass KI völlig neue Unterhaltungskategorien jenseits von Chatbots schaffen wird. Seine Einschätzung: Jedes 12-jährige Kind weiß, dass ChatGPT seine Hausaufgaben macht, aber es hat keine Ahnung, welche KI es verwenden soll, wenn es nicht gerade Hausaufgaben macht.
Gaming ist nur die Vorspeise. Echtzeit-Transformationstechnologie könnte Videotelefonate, die Erstellung von Inhalten und unsere Wahrnehmung der digitalen Realität grundlegend verändern. In gewisser Weise könnten wir gerade die Geburt eines neuen Mediums miterleben: eines, in dem die Grenze zwischen real und generiert alle 40 Millisekunden verschwimmt. TBH, wir wären nicht überrascht, wenn Meta versuchen würde, Decart zu kaufen, um „das Metaverse“ tatsächlich Wirklichkeit werden zu lassen.
Anmerkung der Redaktion: Dieser Inhalt erschien ursprünglich in unserer Schwesterpublikation, The Neuron. Mehr von The Neuron kannst du hier für den Newsletter abonnieren.