Le dernier modèle d’IA de Meta, V-JEPA 2 (Video Joint Embedding Predictive Architecture), est décrit comme un « modèle du monde » en raison de sa capacité à simuler les interactions physiques et à raisonner à leur sujet. V-JEPA 2 ne se contente pas d’identifier des objets : il peut déduire des propriétés physiques comme la gravité, anticiper le comportement d’objets en mouvement, éviter les obstacles et apprendre de nouvelles tâches en analysant ce qu’il voit.
Le communiqué de Meta du 11 juin indique notamment : « Aujourd’hui, nous sommes ravis de présenter V-JEPA 2, notre modèle du monde de pointe, entraîné sur des vidéos, qui permet aux robots et autres agents d’IA de comprendre le monde physique et de prédire la manière dont celui-ci réagira à leurs actions. Ces capacités sont essentielles pour créer des agents d’IA capables de réfléchir avant d’agir, et V-JEPA 2 représente une avancée significative vers notre objectif ultime : développer une intelligence machine avancée (AMI). »
Qu’est-ce qu’un modèle du monde ?
Contrairement à la plupart des types de modèles d’IA traditionnels, qui s’appuient sur des schémas statistiques pour accomplir des tâches, les modèles du monde créent des représentations internes de leur environnement, ce qui leur permet de simuler le fonctionnement de celui-ci. Cette approche permet au modèle de comprendre pleinement son environnement, de créer des plans en plusieurs étapes et de prédire comment ses actions et celles des autres affecteront la réalité.
Pour être considéré comme un modèle du monde, le système d’IA doit être capable de :
- Comprendre
- Prédire
- Planifier
V-JEPA 2 a été conçu autour de ces trois objectifs, en améliorant son prédécesseur grâce à des prévisions plus précises, une meilleure généralisation et une reconnaissance renforcée des schémas.
Comment V-JEPA 2 a-t-il été entraîné ?
En plus d’avoir été entraîné sur plus d’un million d’heures de vidéos, V-JEPA 2 a été affiné à l’aide de 6 heures de données issues d’interactions robotiques dans le monde réel. Il a ensuite été testé sur des bras robotiques dans différents environnements, où il a réussi à effectuer des tâches de manipulation d’objets, comme les saisir et les déplacer, sans avoir été exposé auparavant à ces objets.
Le modèle a démontré une forte capacité de généralisation, en s’adaptant à des situations inconnues sans nécessiter d’apprentissage fondé sur des démonstrations. Les évaluations de performance ont montré que V-JEPA 2 surpassait largement sa version précédente dans des domaines comme le contrôle moteur, la prédiction et le raisonnement physique.
De nouveaux tests de référence pour l’IA
L’équipe de Meta a également publié trois nouveaux tests de référence pour l’IA en parallèle de V-JEPA 2. Ces tests ont été conçus pour évaluer l’efficacité d’un modèle à comprendre le monde réel à partir de données extraites de vidéos.
- IntPhys2 : ce premier test examine la capacité d’un modèle à distinguer une physique plausible d’une physique invraisemblable.
- Minimal Video Pairs (MVPBench) : ce test évalue le modèle d’IA au moyen de diverses questions à choix multiple portant sur sa capacité à comprendre les vidéos utilisées pour son entraînement.
- CausalVQA : enfin, ce test évalue la capacité du modèle d’IA à comprendre des scénarios élémentaires de cause à effet.
Ouvrir la voie à une robotique plus intelligente
Alors que le V-JEPA original avait marqué une étape importante dans l’intégration de l’intelligence incarnée aux machines, V-JEPA 2 fait progresser considérablement le domaine. Fondé sur la même base, le modèle amélioré offre d’importantes avancées en matière de précision prédictive et de généralisation des tâches, ce qui le rend particulièrement adapté à la robotique de nouvelle génération, aux objets connectés et aux systèmes autonomes.
Lisez la couverture d’eWeek consacrée au nouveau laboratoire de superintelligence de Meta, où Mark Zuckerberg a exposé sa vision pour faire progresser l’IA au-delà des modèles de pointe actuels.