Black Forest Labs parie sur un avenir de l’IA qui ne se limitera pas à générer des images et des vidéos.
La start-up allemande a dévoilé FLUX 3, un modèle d’IA multimodal conçu pour générer des images, de la vidéo et de l’audio, tout en servant de fondation à des systèmes robotiques. Contrairement à de nombreuses plateformes multimodales qui combinent plusieurs modèles distincts, FLUX 3 est entraîné au sein d’une architecture unique conçue pour comprendre et prédire les changements dans les environnements numériques et physiques.
Si cette approche fonctionne, les entreprises pourraient à terme s’appuyer sur un seul socle d’IA pour la création de contenus, la simulation et la robotique, plutôt que de déployer des modèles distincts pour chaque tâche.
« FLUX 3 est notre premier modèle entièrement conçu selon ce principe », a déclaré Black Forest Labs, décrivant le modèle comme une étape vers des systèmes d’IA capables de « percevoir, prédire et agir ».
Génération vidéo avec audio natif
FLUX 3 étend la technologie de Black Forest Labs au-delà des images fixes en générant des clips vidéo d’une durée maximale de 20 secondes avec un audio synchronisé.
Le modèle prend en charge la génération de texte vers vidéo, l’animation d’images en vidéo, le montage vidéo à partir de clips de référence, les transitions contrôlées par des images clés et les dialogues multilingues. Black Forest Labs affirme également qu’il peut enchaîner des clips plus courts pour former des séquences plus longues tout en préservant la cohérence des personnages.
Lors de premières comparaisons internes portant sur des clips de texte vers vidéo de 10 secondes en 720p, Black Forest Labs a déclaré que FLUX 3 avait été préféré à Runway Gen-4.5 dans 77 % des comparaisons et à Luma Ray 3.2 dans 93 % d’entre elles. L’entreprise a également fait état de résultats supérieurs à ceux de Grok Imagine Video, de Kling v3 Pro et d’autres modèles.
Ces résultats restent toutefois préliminaires. Black Forest Labs n’a pas encore publié la méthodologie complète des tests, notamment le nombre d’évaluateurs, les ensembles de prompts ou les résultats de benchmarks indépendants.
De la création de contenus à l’IA physique
Le pari plus ambitieux derrière FLUX 3 est que comprendre comment les objets se déplacent dans une vidéo pourrait également aider les robots à prédire et à exécuter des actions physiques.
Black Forest Labs a développé FLUX-mimic avec l’entreprise de robotique mimic, en utilisant le socle de FLUX 3 pour créer un modèle vidéo-action qui prédit les mouvements des robots. Le système est testé dans des environnements industriels, notamment avec Audi.
Les entreprises ont indiqué que FLUX-mimic était utilisé pour des tâches telles que l’assemblage de composants, la manipulation de matériaux flexibles et le placement de pièces dans des gabarits de production. Audi’s Production Lab a déclaré que cette technologie avait aidé des robots à réaliser des tâches complexes de manipulation de matériaux déformables.
« Nous avons vu ces robots résoudre des tâches complexes de manipulation de corps déformables qui auraient été tout simplement impossibles avec la robotique conventionnelle », a déclaré Christoph Schneider, Audi Production Lab.
Pourquoi l’architecture est importante
La stratégie de Black Forest Labs repose sur l’idée que la vidéo contient des informations sur le fonctionnement du monde réel. Un modèle qui apprend les mouvements, le timing et les relations de cause à effet pourrait potentiellement devenir utile pour bien plus que la génération de médias.
L’entreprise a indiqué que la prédiction vidéo représentait plus de 95 % de la puissance de calcul consacrée à l’entraînement de FLUX 3, tandis que l’audio n’en représentait qu’une part beaucoup plus faible. Elle estime qu’une fois que l’IA comprend les changements visuels au fil du temps, il devient plus facile pour elle d’apprendre les relations entre mouvement et son.
Pour les entreprises, cela pourrait signifier moins de systèmes d’IA dédiés à des tâches distinctes. Un seul modèle pourrait à terme prendre en charge la création de contenus marketing, la visualisation de produits, la simulation et la robotique. Mais cette approche n’a pas encore fait ses preuves à grande échelle. Les entreprises devront évaluer la fiabilité, le coût, la sécurité et les performances de tels systèmes avant de les utiliser en production, en particulier lorsque des robots sont impliqués.
Les modèles ouverts pourraient façonner l’adoption
Le modèle entre désormais en accès anticipé, avec le déploiement initial des fonctionnalités vidéo et d’action. Les fonctions de génération d’images devraient suivre, tandis qu’une version à poids ouverts appelée FLUX 3 Dev est prévue ultérieurement.
L’accès ouvert a contribué à la popularité des précédents modèles FLUX auprès des développeurs et des chercheurs. Black Forest Labs a déclaré que FLUX 3 Dev finirait par fournir aux développeurs un socle multimodal prenant notamment en charge la prédiction d’images, de vidéos, d’audio et d’actions.
FLUX 3 n’en est encore qu’au début de son déploiement, et les entreprises attendront probablement des benchmarks indépendants, des détails tarifaires et une disponibilité plus large avant de s’engager dans des déploiements en production. Mais en étendant sa technologie au-delà de la génération d’images vers la robotique, Black Forest Labs se positionne pour participer à la course émergente visant à créer des modèles de fondation pour les contenus numériques comme pour l’IA physique.
Autres actualités : une start-up canadienne prépare des essais à domicile de son bras robotique Arlo guidé par l’IA, illustrant comment la robotique d’assistance pourrait favoriser l’autonomie et contribuer à remédier aux pénuries de main-d’œuvre dans les services d’accompagnement des personnes handicapées et les services de soins aux personnes âgées.