Alors que vous pensiez que les vidéos générées par l’IA commençaient enfin à être convaincantes, Google DeepMind a présenté en avant-première Genie 3, un nouveau « modèle du monde » capable de générer un monde interactif entier à partir d’une simple invite textuelle.
Oubliez le visionnage passif. Avec Genie 3, vous pouvez explorer ces environnements générés par l’IA en temps réel, à 24 images par seconde. C’est comme jouer à un jeu vidéo dont le niveau est créé à la volée à partir de votre imagination.
La variété est stupéfiante. Les utilisateurs peuvent explorer des contrées fantastiques, des décors historiques et des paysages photoréalistes.
Voici quelques exemples de mondes générés à partir d’une simple invite :
- Un vol de drone à grande vitesse à travers un canyon étroit en Islande.
- Une promenade dans l’Athènes antique, avec son architecture en marbre richement détaillée.
- Une méduse nageant dans les profondeurs marines, entre des sources volcaniques.
- Une créature animée fantaisiste bondissant sur un arc-en-ciel.
Ça donne sacrément envie, non ? Eh bien, tout ce que vous avez à faire, c’est… oh, attendez, vous ne pouvez pas ! Pour l’instant, Genie 3 n’est disponible qu’en accès limité pour certains universitaires et créateurs.
Mais voici la véritable histoire…
Google n’est pas seul. Toute une catégorie d’IA dédiées à la création de mondes, voire à la création de jeux vidéo, a soudainement fait irruption sur le devant de la scène, et beaucoup sont open source.
Rien qu’au cours des dernières semaines, nous avons vu apparaître :
- Matrix-Game 2.0: Un modèle open source de SkyworkAI qui génère des mondes de jeu interactifs d’une minute à 25 images par seconde. Il a été entraîné sur 1 200 heures de parties issues de GTA5 et d’Unreal Engine.
- Hunyuan Gamecraft: Le modèle de Tencent, entraîné sur plus de 100 jeux AAA, se concentre sur la création de vidéos de jeu à dynamique élevée et contrôlables.
- Matrix-3D: Un autre outil open source de SkyworkAI, qui construit des mondes panoramiques à 360 degrés, explorables, à partir d’une seule image ou d’une invite textuelle.
Alors, qu’est-ce qui rend ces nouveaux « modèles du monde », ou plutôt « modèles de jeu », uniques ?
L’une des fonctionnalités les plus révolutionnaires de Genie 3 est ce que Google appelle les « événements mondiaux pilotables par invite ». Elle permet à l’utilisateur d’intervenir au cours de la simulation à l’aide de commandes textuelles et de modifier l’environnement à la volée. Vous pourriez explorer une plage paisible, puis saisir « un ouragan approche » pour voir la météo changer dynamiquement. Ce passage du visionnage passif à la participation active marque un changement fondamental dans l’IA générative.
Selon Google, cette cohérence n’est pas obtenue au moyen de techniques traditionnelles de modélisation 3D comme les NeRF ou le Gaussian Splatting, qui nécessitent une représentation 3D explicite ; la cohérence de Genie 3 est au contraire une propriété émergente. Le modèle génère le monde image par image, en s’appuyant sur sa compréhension approfondie de la physique et du contexte pour déterminer ce qui doit arriver ensuite, en fonction des actions de l’utilisateur et de l’historique de la simulation.
Les concurrents open source et ceux des grandes entreprises
Le premier modèle open source de Skywork, Matrix-Game 2.0, est un concurrent direct de la fonction interactive de Genie 3. Il s’agit d’un modèle du monde open source capable de générer « à la volée » de longues vidéos interactives à une cadence fluide de 25 images par seconde. Contrairement à Genie, qui est entraîné sur une grande variété de données, Matrix-Game 2.0 se concentre sans détour sur le jeu vidéo. Il a été entraîné sur un vaste ensemble de données de 1 200 heures de séquences de jeu provenant de moteurs populaires comme Unreal Engine et Grand Theft Auto V. Sa fonctionnalité clé est un module « souris/clavier-vers-image » qui permet un contrôle précis au niveau de chaque image, donnant moins l’impression d’une simulation que d’un véritable jeu.
Voici le code, la page Hugging Face et l’article technique qui l’analyse en détail.
L’autre projet de l’entreprise, Matrix-3D, s’attaque à un autre aspect du problème de la création de mondes. Plutôt que l’interaction en temps réel, il se concentre sur la génération de vastes mondes 3D omnidirectionnels et entièrement explorables à partir d’une seule invite textuelle ou image. Il fonctionne en combinant la génération de vidéos panoramiques et la reconstruction 3D, afin de créer une scène à 360 degrés que l’utilisateur peut explorer librement. Même s’il nécessite un matériel puissant, la perspective de créer un environnement 3D complet avec une seule commande est particulièrement séduisante pour les designers et les artistes.
Pendant ce temps, le géant chinois de la technologie Tencent entre dans la course avec l’Hunyuan Gamecraft (article). Ce framework est conçu spécifiquement pour générer des vidéos de jeu interactives à dynamique élevée. Entraîné sur un ensemble de données impressionnant comprenant plus d’un million d’enregistrements de parties issus de plus de 100 jeux AAA, Hunyuan Gamecraft cherche à reproduire l’apparence et les sensations de jeux commerciaux peaufinés. Il unifie astucieusement les entrées du clavier et de la souris en une représentation unique de la caméra, ce qui permet un contrôle extrêmement fluide et précis des déplacements. Il utilise également une méthode d’entraînement « conditionnée par un historique hybride » afin de garantir que l’environnement reste cohérent lorsque les joueurs se déplacent dans le monde, même lorsqu’ils reviennent sur leurs pas.
À cela s’ajoute l’ambitieux framework Yan, qui décompose la génération de vidéos interactives en trois parties : Yan-Sim pour une simulation haute fidélité (visant le 1080p à 60 images par seconde), Yan-Gen pour créer du contenu à partir d’invites multimodales et Yan-Edit pour modifier le monde généré à l’aide de commandes textuelles.
Imaginez Yan non pas comme un simple modèle d’IA, mais comme un studio de production complet dédié à la création de mondes interactifs. Il s’agit d’un framework qui divise cette tâche complexe en trois modules spécialisés :
- Yan-Sim (le simulateur) : C’est le moteur central. Son objectif est de créer une simulation interactive de haute qualité. Il est extrêmement ambitieux et vise une résolution de 1080p à 60 images par seconde (i/s) — un bond important en matière de qualité et de fluidité par rapport à des concurrents comme Genie 3 (720p à 24 images par seconde). Il fonctionne en générant chaque image à partir des précédentes et des actions du joueur.
- Yan-Gen (le générateur/artiste) : Le rôle de ce module est de créer le contenu vidéo proprement dit. Il accepte toutes sortes d’entrées — invites textuelles, images de référence et commandes d’action — et les utilise pour générer des scènes interactives variées et hautement contrôlables, allant des jeux réalistes aux scénarios en monde ouvert.
- Yan-Edit (l’éditeur) : C’est sans doute la partie la plus originale. Elle permet de modifier le monde généré en temps réel à l’aide de commandes textuelles. Il ne s’agit pas seulement de procéder à de simples changements. Vous pouvez effectuer les opérations suivantes :
- Modification structurelle : Ajouter de nouveaux objets interactifs à la scène.
- Modification du style : Modifier la couleur, la texture ou l’apparence des objets existants.
En substance, le framework Yan constitue une boîte à outils complète qui permet de simuler un monde (Sim), d’en générer le contenu visuel (Gen), puis de le modifier à la volée (Edit), avec pour objectif d’atteindre un niveau de qualité et de performance comparable à celui d’un véritable moteur de jeu vidéo.
Le moteur sous le capot… l’auto-forçage
Cette avancée soudaine et simultanée n’est pas le fruit du hasard. Elle doit en grande partie son existence à une avancée fondamentale dans l’entraînement de l’IA, appelée Self-Forcing.
Pendant des années, les modèles de génération vidéo se sont heurtés au problème des « petites roues ». Durant leur entraînement, ils apprenaient à créer l’image suivante d’une vidéo en observant une image réelle parfaite. Mais lorsqu’on leur demandait de générer une vidéo seuls, ils devaient s’appuyer sur leurs propres images précédemment générées, légèrement imparfaites. Les erreurs s’accumulaient rapidement et la vidéo se dégradait jusqu’à devenir un chaos informe.
Self-Forcing résout ce problème. Il s’agit d’une nouvelle méthode d’entraînement qui, en termes simples, fait pratiquer à l’IA la manière dont elle fonctionnera dans le monde réel. Voici comment cela fonctionne.
L’ancienne méthode défaillante (le problème des « petites roues ») :
Imaginez que vous appreniez à une IA à générer une vidéo, image par image. Traditionnellement, pour générer l’image 2, vous lui montriez l’image 1 réelle et parfaite de vos données d’entraînement. Pour générer l’image 3, vous lui montriez l’image 2 réelle et parfaite, et ainsi de suite. L’IA dispose toujours de « petites roues » parfaites pour s’entraîner.
Le problème ? Lorsque vous demandez ensuite à l’IA de générer seule une toute nouvelle vidéo, elle doit créer l’image 2 à partir de l’image 1 qu’elle vient de produire, laquelle peut comporter de minuscules imperfections. Puis elle crée l’image 3 à partir de son image 2, légèrement plus imparfaite. Les erreurs s’accumulent et la vidéo se désagrège rapidement en un amas flou et incohérent. L’IA n’a jamais appris à corriger ses propres petites erreurs. On appelle cela le « décalage entraînement-test » ou le « biais d’exposition ».
La nouvelle méthode, plus intelligente (l’auto-forçage) :
Self-Forcing supprime les petites roues. Pendant l’entraînement, il oblige l’IA à pratiquer de la manière dont elle fonctionnera dans le monde réel. Pour générer l’image 2, elle utilise l’image 1 (potentiellement imparfaite) qu’elle vient elle-même de générer.
Le modèle apprend ainsi à être robuste et à s’auto-corriger. Il apprend à gérer ses propres résultats et à maintenir leur cohérence au fil du temps.
Pourquoi cela change la donne :
Vitesse en temps réel : la méthode est incroyablement efficace. Elle permet de générer des vidéos en continu à des fréquences d’images élevées (par exemple, environ 10 à 16 images par seconde) sur une seule carte graphique grand public (comme une NVIDIA RTX 4090).
Qualité supérieure : en résolvant le problème de l’accumulation des erreurs, elle produit des vidéos dotées d’une bien meilleure cohérence temporelle et d’une qualité supérieure, sans les artefacts étranges des anciens modèles.
En résumé, Self-Forcing est l’avancée fondamentale qui rend possibles les performances en temps réel et la haute qualité de modèles comme Matrix-Game 2.0 et Yan
Il force le modèle à générer de nouvelles images à partir de son propre travail antérieur, lui apprenant à s’auto-corriger et à maintenir sa cohérence au fil du temps. Le résultat est une hausse spectaculaire de la qualité et, surtout, un gain d’efficacité considérable. Self-Forcing permet de générer des vidéos en continu et en temps réel sur une seule carte graphique grand public.
Pourquoi les modèles du monde sont la prochaine frontière
Cette convergence soudaine autour des modèles du monde, chez plusieurs géants de la technologie comme dans la communauté open source, n’est pas le fruit du hasard. Elle représente la prochaine étape logique de l’intelligence artificielle. Si des modèles comme Sora et Veo ont démontré que l’IA pouvait comprendre et reproduire la physique de notre monde dans de courts extraits, les modèles du monde interactifs prouvent que l’IA peut maintenir cette compréhension au fil du temps et en réaction à des actions extérieures.
Le premier impact se fera sentir dans l’industrie du jeu vidéo. Les développeurs pourront utiliser ces outils pour réaliser rapidement des prototypes et générer instantanément des niveaux jouables à partir d’une simple description. Cela pourrait donner naissance à des jeux au contenu véritablement dynamique et procédural, dans lesquels les environnements sont créés et modifiés en temps réel en fonction des choix du joueur, offrant une expérience unique à chaque partie.
Cependant, les implications à plus long terme sont bien plus profondes. Comme le souligne Google lui-même, ces modèles constituent des terrains d’entraînement parfaits pour les agents d’IA incarnés (pensez aux robots physiques ou aux voitures autonomes). Google utilise déjà Genie 3 pour apprendre à son agent SIMA à effectuer des tâches complexes dans une variété illimitée d’environnements simulés. Un agent peut apprendre à se déplacer dans une pièce encombrée, à conduire par mauvais temps ou à coopérer avec d’autres entités dans un espace virtuel sûr avant d’être déployé dans le monde réel. Cette capacité à entraîner et à tester des agents dans un programme infini de scénarios hypothétiques est un élément essentiel sur la voie du développement d’une IA générale (AGI) plus avancée.
Pour l’instant, la technologie a ses limites. Genie 3 peine à afficher du texte lisible, à modéliser précisément plusieurs agents et ne peut maintenir une interaction que pendant quelques minutes. Les autres modèles sont si récents qu’il faut commencer à les tester pour découvrir leurs limites. Mais les progrès sont fulgurants. La frontière entre regarder une vidéo, jouer à un jeu et simuler une réalité se dissout sous nos yeux et, très bientôt, nous serons tous sur le point de devenir des bâtisseurs de mondes.
Note de la rédaction : Ce contenu a d’abord été publié dans notre publication sœur, The Neuron. Pour lire d’autres articles de The Neuron, inscrivez-vous à sa newsletter ici.