Black Forest Labs setzt darauf, dass die Zukunft der KI nicht bei der Generierung von Bildern und Videos Halt machen wird.
Das deutsche Startup hat FLUX 3 vorgestellt, ein multimodales KI-Modell, das Bilder, Videos und Audio generieren und zugleich als Grundlage für Robotersysteme dienen soll. Anders als viele multimodale Plattformen, die separate Modelle kombinieren, wird FLUX 3 innerhalb einer einzigen Architektur trainiert, die Veränderungen in digitalen und physischen Umgebungen verstehen und vorhersagen soll.
Wenn dieser Ansatz funktioniert, könnten Unternehmen künftig auf ein einziges KI-Grundgerüst für kreative Inhalte, Simulationen und Robotik setzen, statt für jede Aufgabe separate Modelle einzusetzen.
„FLUX 3 ist unser erstes Modell, das vollständig auf diesem Prinzip basiert“, sagte Black Forest Labs, und bezeichnete das Modell als Schritt hin zu KI-Systemen, die „wahrnehmen, vorhersagen und handeln“ können.
Videogenerierung mit nativem Audio
FLUX 3 erweitert die Technologie von Black Forest Labs über Standbilder hinaus und generiert bis zu 20 Sekunden lange Videoclips mit synchronisiertem Audio.
Das Modell unterstützt Text-zu-Video-Generierung, Bild-zu-Video-Animation, Videobearbeitung mithilfe von Referenzclips, per Keyframes gesteuerte Übergänge und mehrsprachige Dialoge. Black Forest Labs zufolge kann es außerdem kürzere Clips zu längeren Sequenzen verknüpfen und dabei eine konsistente Darstellung der Figuren gewährleisten.
In ersten internen Vergleichen mit 10 Sekunden langen Text-zu-Video-Clips in 720p gab Black Forest Labs an, dass FLUX 3 in 77 % der Vergleiche gegenüber Runway Gen-4.5 und in 93 % gegenüber Luma Ray 3.2 bevorzugt wurde. Das Unternehmen berichtete außerdem von Siegen gegen Grok Imagine Video, Kling v3 Pro und andere Modelle.
Diese Ergebnisse sind jedoch noch vorläufig. Black Forest Labs hat bislang keine vollständigen Testmethoden veröffentlicht, einschließlich Details wie der Zahl der Bewerter, der verwendeten Prompt-Sets oder unabhängiger Benchmark-Ergebnisse.
Vom Erstellen von Inhalten zur physischen KI
Die größere Wette hinter FLUX 3 besteht darin, dass das Verständnis dafür, wie sich Objekte in Videos bewegen, Robotern ebenfalls dabei helfen könnte, physische Aktionen vorherzusagen und auszuführen.
Black Forest Labs hat FLUX-mimic gemeinsam mit dem Robotikunternehmen mimicentwickelt und dabei das FLUX-3-Grundmodell genutzt, um ein Video-Aktions-Modell zu erstellen, das Roboterbewegungen vorhersagt. Das System wird in Produktionsumgebungen getestet, unter anderem bei Audi.
Die Unternehmen erklärten, FLUX-mimic werde für Aufgaben wie die Montage von Komponenten, den Umgang mit flexiblen Materialien und das Einsetzen von Teilen in Produktionsvorrichtungen verwendet. Das Production Lab von Audi erklärte, die Technologie habe Robotern dabei geholfen, komplexe Aufgaben bei der Handhabung weicher Materialien auszuführen.
„Wir haben erlebt, wie diese Roboter komplexe Aufgaben bei der Manipulation weicher Körper lösen, die mit herkömmlicher Robotik schlicht unmöglich gewesen wären“, sagte Christoph Schneider, Audi Production Lab.
Warum die Architektur wichtig ist
Die Strategie von Black Forest Labs basiert auf der Idee, dass Videos Informationen darüber enthalten, wie die reale Welt funktioniert. Ein Modell, das Bewegungen, zeitliche Abläufe sowie Ursache-Wirkungs-Beziehungen lernt, könnte potenziell für mehr als die Generierung von Medien nützlich werden.
Das Unternehmen erklärte, dass die Videovorhersage mehr als 95 % der Rechenleistung für das Training von FLUX 3 ausmacht, während Audio einen deutlich kleineren Anteil darstellt. Es argumentiert, dass es leichter wird, Beziehungen zwischen Bewegung und Ton zu erlernen, sobald eine KI visuelle Veränderungen im Zeitverlauf versteht.
Für Unternehmen könnte das weniger KI-Systeme für einzelne Aufgabenbedeuten. Ein einziges Modell könnte künftig die Erstellung von Marketinginhalten, Produktvisualisierung, Simulationen und Robotik unterstützen. Der Ansatz ist im großen Maßstab jedoch noch nicht bewiesen. Unternehmen müssen Zuverlässigkeit, Kosten, Sicherheit und Leistung bewerten, bevor sie solche Systeme in Produktionsumgebungen einsetzen – insbesondere, wenn Roboter beteiligt sind.
Offene Modelle könnten die Einführung prägen
Das Modell geht nun in den Early Access über, wobei zunächst die Video- und Aktionsfunktionen eingeführt werden. Funktionen zur Bildgenerierung sollen folgen, während später eine Version mit offenen Gewichten namens FLUX 3 Dev geplant ist.
Der offene Zugang verhalf früheren FLUX-Modellen bei Entwicklern und Forschern zu großer Beliebtheit. Black Forest Labs erklärte, FLUX 3 Dev werde Entwicklern künftig ein multimodales Grundgerüst bieten, einschließlich Unterstützung für Bild, Video, Audio und Aktionsvorhersage.
FLUX 3 befindet sich noch in der frühen Einführungsphase, und Unternehmen werden wahrscheinlich auf unabhängige Benchmarks, Preisangaben und eine breitere Verfügbarkeit warten, bevor sie sich zu Produktionseinsätzen verpflichten. Indem Black Forest Labs seine Technologie über die Bildgenerierung hinaus auf die Robotik ausweitet, positioniert sich das Unternehmen jedoch für den aufkommenden Wettlauf um Grundmodelle für digitale Inhalte und physische KI.
Weitere Nachrichten: Ein kanadisches Startup bereitet Heimtests seines KI-gesteuerten Roboterarms Arlo vor und zeigt damit, wie Assistenzrobotik ein selbstbestimmtes Leben unterstützen und dazu beitragen könnte, den Fachkräftemangel in der Behinderten- und Altenpflege zu lindern.