La start-up spécialisée dans la vidéo par IA Runway a annoncé un nouveau modèle de génération vidéo par IA, plus avancé, que l’entreprise a baptisé Gen-4. Avec ce modèle, Runway espère résoudre plusieurs des problèmes les plus complexes qui affectent la génération vidéo par IA. L’entreprise décrit son modèle Gen-4 comme « une nouvelle génération de médias cohérents et contrôlables ».
Relever les défis de la génération vidéo par IA
L’une des principales difficultés que le nouveau modèle cherche à surmonter est la nature onirique et souvent incohérente des vidéos générées par IA. Les modèles actuels peinent à conserver des personnages et des objets cohérents d’une image à l’autre, si bien que leur apparence change souvent radicalement en fonction de l’environnement et des conditions d’éclairage.
Runway a publié plusieurs exemples de vidéos pour montrer comment le modèle d’IA Gen-4 peut résoudre ces problèmes. Dans l’une d’elles, par exemple, on voit la même statue dans différents lieux, et l’objet conserve une apparence cohérente malgré les changements d’angle de caméra et de conditions d’éclairage. Ce niveau de cohérence spatiale — notamment la capacité à restituer plusieurs angles d’une même scène — est une nouveauté exclusive à Gen-4. Les versions précédentes, Gen-2 et Gen-3, ne disposaient pas de cette fonctionnalité.
« Avec Gen-4, vous pouvez désormais générer avec précision des personnages, des lieux et des objets cohérents d’une scène à l’autre », explique la page de présentation du nouveau modèle. « Il vous suffit de définir votre esthétique et votre ambiance, et le modèle préservera des environnements cohérents tout en conservant le style, l’atmosphère et les éléments cinématographiques distinctifs de chaque image. Vous pourrez ensuite régénérer ces éléments depuis plusieurs perspectives et positions au sein de vos scènes. »
Le nouvel outil de génération par IA est progressivement déployé auprès des utilisateurs payants de Runway à partir de lundi. Les utilisateurs payants qui ne voient pas encore l’option Gen-4 dans leur compte devront réessayer plus tard.
Runway se taille une place dans la génération vidéo par IA
Runway n’est peut-être pas un nom aussi connu du grand public que d’autres grandes entreprises spécialisées dans l’IA, comme OpenAI, qui disposent de financements considérables à consacrer au développement comme au marketing. Runway se forge toutefois une place en tant que générateur vidéo par IA privilégiant la qualité, qui séduit les cinéastes, les designers et d’autres créateurs.
Runway comptait notamment parmi les premières entreprises à lancer un outil de génération vidéo par IA fonctionnel et accessible au public, début 2023. Les versions suivantes ont été utilisées dans des projets créatifs réels, quoique de manière limitée. The Late Show with Stephen Colbert comme le film Everything Everywhere All at Once ont utilisé cet outil d’IA pour générer des séquences d’animation. Les spectateurs pourraient désormais voir davantage d’images créées avec Runway AI, maintenant que le nouveau modèle est disponible.