Vous vous souvenez de l’époque où les filtres vidéo se résumaient à des oreilles de chien sur Snapchat ? C’est de l’histoire ancienne.
Dean Leitersdorf participait au podcast Every de Dan Shipper et, en pleine phrase, s’est transformé en magicien projetant de la lumière de bougie avec ses mains, avant de transformer une boîte de mouchoirs en pistolet à portails qui tire vraiment quand on appuie sur la gâchette.
Voici Mirage, le premier modèle d’IA vidéo-à-vidéo en temps réel de Decart. Il transforme n’importe quel flux vidéo — votre webcam, un jeu, peu importe — avec seulement 40 millisecondes de latence. La prochaine version ? 16 millisecondes.
Voici le plus fou
Contrairement aux autres outils vidéo d’IA qui génèrent des clips entiers d’un seul coup, Mirage fonctionne image par image, comme un LLM qui prédit le mot suivant ; Dean appelle cela la « prédiction de l’image suivante ». L’équipe de Dean a passé six mois à résoudre le « problème d’accumulation des erreurs » — lorsque les modèles se dégradent progressivement jusqu’à produire des couleurs statiques — en écrivant du code assembleur pour les GPU.
Quelques exemples de ce qui se passe déjà avec Mirage
- Un nouveau mod Minecraft qui transforme l’intégralité du jeu sur commande.
- Transformer tranquillement GTA V en pays des merveilles hivernal en temps réel.
- Lancer sa propre application grand public (Delulu) pour transformer des selfies en temps réel.
Vous pouvez l’essayer dès maintenant en cliquant ici.
Le pari de la transformation instantanée de contenus existants
Comme nous l’avons déjà écrit, de nombreux acteurs se concentrent actuellement sur les World Models. Par exemple, Tencent a lancé HunyuanWorld-Voyager, un modèle de monde open source (GitHub) qui génère des environnements 3D contrôlés par caméra (article scientifique). Il occupe actuellement la 1re place du classement WorldScore de Stanford et exporte directement vers des formats 3D — sans outils supplémentaires.
Alors que Tencent et Genie 3 de Google, présenté récemment, se concentrent sur la reconstruction 3D pour la réalité virtuelle et les simulations, Decart mise sur la transformation instantanée de contenus existants. Cependant, Dean estime que nous avons besoin des deux approches : du code déterministe pour les « os » (comme la physique des jeux, les règles, etc.) et de l’IA pour les « muscles » créatifs (textures, visuels). Comme Dan le souligne dans l’épisode, on pourrait créer un jeu 3D doté d’une logique simple et utiliser Mirage comme « peau » pour lui donner l’apparence d’un véritable jeu AAA (démos).
La vue d’ensemble
Dean pense que l’IA va créer des catégories de divertissement entièrement nouvelles au-delà des chatbots. Son point de vue ? Tous les jeunes de 12 ans savent que ChatGPT fait leurs devoirs à leur place, mais ils n’ont aucune idée de l’IA à utiliser quand ils ne font pas leurs devoirs.
Le jeu vidéo n’est que l’apéritif. Les technologies de transformation en temps réel pourraient bouleverser les appels vidéo, la création de contenu et notre perception de la réalité numérique. D’une certaine manière, nous sommes peut-être en train d’assister à la naissance d’un nouveau média : un média où la frontière entre le réel et le généré s’efface toutes les 40 millisecondes. Franchement, nous ne serions pas surpris que Meta essaie de racheter Decart pour faire du « métavers » une réalité.
Note de la rédaction : cet article a d’abord été publié dans notre publication sœur, The Neuron. Pour lire d’autres articles de The Neuron, inscrivez-vous à sa newsletter ici.