Oubliez les PNJ scriptés. L’agent amélioré SIMA 2 de Google DeepMind est conçu pour comprendre ce que vous voulez, se déplacer seul dans des mondes en 3D et continuer à progresser au fil de ses parties.
Dans une annonce, Google DeepMind a déclaré que SIMA 2 associe désormais le moteur de raisonnement de Gemini à la capacité d’agir dans des environnements virtuels complexes, transformant le système expérimental en un agent plus proche d’un coéquipier de jeu réellement compétent.
Ce que SIMA 2 sait réellement faire aujourd’hui
SIMA 2 arrive avec un éventail de compétences plus large que le modèle original, ce qui étend la capacité de l’agent à comprendre les instructions, à se déplacer dans des espaces virtuels et à s’adapter à de nouvelles situations. Voici ce que DeepMind affirme que le système amélioré sait faire aujourd’hui.
Raisonnement
SIMA 2 intègre le moteur logique de Gemini, ce qui lui permet de décomposer les objectifs, de planifier son prochain mouvement et d’expliquer ce qu’il compte faire. Plutôt que d’attendre des instructions détaillées étape par étape, il peut interpréter des consignes de haut niveau et les exécuter dans des environnements virtuels en mouvement rapide.
Généralisation
Le nouveau modèle gère des instructions plus exigeantes et se montre fiable dans des jeux sur lesquels il n’a jamais été entraîné, notamment ASKA et MineDojo. Il peut suivre des croquis, des prompts, multilingues et même des émojis, puis appliquer des concepts appris dans un jeu à des environnements totalement différents. Associé à Genie 3, il peut même se déplacer intelligemment dans des mondes en 3D générés à la volée.
Autoamélioration
SIMA 2 peut s’entraîner seul. Une fois alimenté par des démonstrations humaines, l’agent crée de nouvelles tâches, évalue ses tentatives et réinjecte cette expérience dans son entraînement. DeepMind considère cela comme une étape vers des agents qui s’améliorent en permanence, sans annotations manuelles issues de parties jouées par des humains.
Les prochaines étapes vers l’intelligence incarnée
Les comportements que SIMA 2 acquiert, comme la navigation, l’utilisation d’outils et le raisonnement en plusieurs étapes, correspondent aux compétences de haut niveau nécessaires à la robotique dans le monde réel. DeepMind affirme que cette ligne de recherche contribue à poser les fondations de systèmes capables, à terme, d’opérer hors de l’écran.
Responsabilité
Parce que SIMA 2 peut s’entraîner seul, DeepMind en limite strictement l’accès. Google le propose sous la forme d’un aperçu de recherche limité, seuls certains universitaires et développeurs étant invités à tester les capacités de l’agent tandis que les dispositifs de protection arrivent à maturité.
Les tests en direct qui ont démontré le bond en intelligence de SIMA 2
Les chercheurs de DeepMind ont étayé leurs affirmations par des preuves à l’écran, en présentant aux journalistes une série de tests contrôlés mettant en évidence les capacités de raisonnement de SIMA 2.
SIMA 2, le nouvel agent de jeu de Google, montre comment il joue, raisonne et apprend dans des mondes en 3D.
Lors d’un essai à huis clos, SIMA 2 est entré dans No Man’s Sky, a inspecté un terrain rocheux, repéré une balise de détresse et s’est dirigé vers elle.
L’équipe a également montré comment SIMA 2 raisonne à partir d’instructions. Lorsqu’on lui a demandé de se diriger vers « la maison de la couleur d’une tomate mûre », l’agent a explicité son raisonnement — les tomates mûres sont rouges, donc la maison doit être rouge — avant de se diriger vers le bâtiment approprié.
Les chercheurs ont présenté ces comportements comme une véritable rupture avec le modèle de première génération.
Lors d’une autre démonstration, SIMA 2 a interprété des commandes sous forme d’émojis — un symbole de hache et un symbole d’arbre — et exécuté l’action suggérée en abattant un arbre. Il a également exploré des mondes photoréalistes générés par Genie, reconnaissant correctement des objets comme des bancs, des arbres et même des papillons tout en se déplaçant dans la scène.
Les premières bases architecturales de robots capables de raisonner
DeepMind construit l’ossature cognitive sur laquelle, selon lui, reposeront les machines de demain. L’équipe a expliqué que la capacité de l’agent à interpréter des objectifs, à établir une suite d’étapes et à appliquer ces plans dans des environnements imprévisibles illustre le type de couche décisionnelle dont les systèmes du monde réel auront besoin à terme — la partie qui comprend ce qu’il faut faire avant que le moindre mouvement ne soit exécuté.
Les chercheurs ont souligné que ces travaux se situent en amont du matériel robotique, en privilégiant le jugement, le contexte et la compréhension des tâches plutôt que les moteurs ou la mécanique. Il s’agit du volet stratégique de l’équation, pas du volet physique, et DeepMind considère cette ligne de recherche comme le cadre de référence pour des machines appelées à fonctionner dans des environnements variés avec un objectif clairement défini.
Google donne également un coup de frais à la frénésie des achats des fêtes avec de nouvelles fonctionnalités d’achat pilotées par l’IA.