Ein neues Tool für künstliche Intelligenz namens Mirage kann Live-Videos in Echtzeit verändern. Mit nur einem Text-Prompt können Nutzer den visuellen Stil ihres Streams in Anime oder Cyberpunk verwandeln.
Mirage ist ein Produkt des israelischen Start-ups Decart, das nach eigenen Angaben das „erste System für unendliche Videogenerierung in Echtzeit mit null Latenz“ entwickelt hat. Dahinter steckt MirageLSD, das KI-Videomodell des Unternehmens zur Diffusion von Livestreams, das 20 Bilder pro Sekunde bei einer Auflösung von 768×432 erzeugt.
„Bei der Echtzeitgenerierung muss jedes Bild in weniger als 40 Millisekunden erzeugt werden, damit es dem menschlichen Auge nicht auffällt“, schrieb das Decart-Team in einem Blogbeitrag.
Die Videodemos von Decart zeigen, wie die KI Minecraft-Gameplay in ein verschneites Wunderland verwandelt, Call-of-Duty-Spieler in eine idyllische Wiese mit rosa Bäumen versetzt und One Directions „What Makes You Beautiful“ in verschiedenen Anime-Stilen neu interpretiert. Jedes Bild wird nacheinander erzeugt, wobei sowohl ein Text-Prompt als auch das vorherige Bild als Eingabe dienen – ein Ansatz, der als kausal-autoregressiv bezeichnet wird.
Das Tool könnte sich für Livestreams auf Plattformen wie Discord oder TikTok, für Videoanrufe sowie für die normale Wiedergabe vorab aufgezeichneter Fernsehsendungen, Filme und Clips eignen. Decart will künftig Unterstützung für Full HD und 4K einführen.
Wie die KI-Transformation in Echtzeit gelingt
Konkurrierende KI-Tools zur Umwandlung von Videos in Videos hatten mit Livestreams vor allem aufgrund der von ihnen eingesetzten autoregressiven Modelle zu kämpfen. Jedes neue Bild wird anhand von Informationen aus den vorherigen Bildern erzeugt, wodurch es deren Fehler übernimmt. Nach etwa 30 Sekunden Videomaterial verschlechtern diese sich anhäufenden Fehler die Videoqualität erheblich.
Mirage begegnet diesem Problem mit zwei Innovationen. Erstens trainiert Diffusions-Forcing das Modell darauf, verrauschte Bilder zu bereinigen, ohne den vollständigen Kontext zu benötigen, und ermöglicht so eine präzise Bild-für-Bild-Erzeugung. Zweitens bringt die Verlaufserweiterung dem Modell bei, Fehler in seinen eigenen früheren Ausgaben zu erkennen und zu beheben. Dadurch lernt es, während der Generierung genauso vorzugehen und eine allmähliche Verschlechterung der Qualität zu verhindern.
Herkömmliche KI-Tools zur Umwandlung von Videos in Videos sind oft ebenfalls langsam und benötigen für nur wenige Momente Ausgabe mehrere Minuten Verarbeitungszeit. Bei Mirage beträgt die Verzögerung zwischen Eingabe und Ausgabe einschließlich der Verarbeitungszeit und sonstiger System-Overheads nur etwa 100 Millisekunden.
Decart hat dies erreicht, indem das Unternehmen die für die Erzeugung jedes Bildes erforderlichen Schritte reduziert und das Modell für einen effizienteren Betrieb verschlankt hat. Das System ist speziell für NVIDIA-Hopper-Chips optimiert und verwendet eigens entwickelten GPU-Code auf niedriger Ebene, der die Geschwindigkeit erhöht und die Latenz minimiert.
Streamer, die Tools wie Mirage verwenden, um ihre YouTube-Videos in Echtzeit zu transformieren, müssen sich keine Sorgen machen: Die Plattform erklärt, KI-Inhalte seien in Ordnung, solange sie nicht „inauthentisch“ sind.