L’essor de l’IA vise à faire sortir les robots des tâches répétitives en usine pour les amener dans les environnements désordonnés et dynamiques où les gens vivent et travaillent.
Microsoft Research estime que cette transition s’accélère désormais avec l’essor de systèmes vision-langage-action conçus pour relier perception, raisonnement et mouvement au sein d’un même modèle.
Avec cette « vision » en tête, l’entreprise technologique a annoncé Rho-alpha, son premier modèle de robotique dérivé de la série Phi de modèles vision-langage de l’entreprise. Celle-ci invite des organisations à évaluer le modèle dans le cadre d’un programme d’accès anticipé destiné à la recherche, avec l’intention de rendre Rho-alpha disponible ultérieurement via Microsoft Foundry.
« L’émergence de modèles vision-langage-action (VLA) pour les systèmes physiques permet à ces derniers de percevoir, de raisonner et d’agir avec une autonomie croissante aux côtés des humains, dans des environnements bien moins structurés », a déclaré Ashley Llorens, vice-président d’entreprise et directeur général de Microsoft Research Accelerator.
L’entreprise présente cette approche comme un tournant pour la robotique, comparable à ce que les grands modèles génératifs ont accompli pour le texte et les images. L’idée centrale consiste à combiner compréhension du langage et perception du monde réel afin que les robots puissent gérer de nouvelles tâches avec un minimum de reprogrammation.
- Faire progresser la fondation
- Manipulation bimanuelle et commande en langage naturel
- Ce qui fait de Rho-alpha un système « VLA+ »
- La pénurie de données d’entraînement reste un obstacle majeur
- Nvidia Isaac Sim
- La correction humaine reste au cœur de la boucle
- Vers des plateformes d’IA physique personnalisables
Faire progresser la fondation
Cette annonce s’inscrit dans une tendance plus large du secteur, qui consiste à créer des systèmes robotiques reposant sur des « modèles fondamentaux » capables de généraliser d’une tâche à l’autre, plutôt que de s’appuyer sur des flux d’automatisation propres à chaque tâche, qui cessent de fonctionner dès que les conditions changent.
Le message de Microsoft est clair : l’IA physique est conçue comme une fondation adaptable, et non comme une simple démonstration robotique ponctuelle.
Manipulation bimanuelle et commande en langage naturel
Rho-alpha est conçu pour traduire des commandes en langage naturel en signaux de contrôle destinés à des systèmes robotiques exécutant des tâches de manipulation bimanuelle. Cette capacité à travailler à deux mains est importante, car de nombreuses tâches du monde réel — de l’utilisation d’outils à l’emballage et à l’assemblage — exigent des mouvements coordonnés et une grande précision.
Microsoft a fourni des exemples d’instructions utilisées pour guider le système, notamment :
Instruction : « Pousse le bouton vert avec la pince droite. »
Instruction : « Tire le fil rouge. »
Instruction : « Déplace le curseur supérieur en position 2. »
Ce sont le type d’instructions que les humains donnent naturellement, mais que les robots traditionnels peinent souvent à exécuter sans programmation, calibrage ou conception matérielle spécialisée poussés. Si des modèles comme Rho-alpha parviennent à combler cette lacune de manière fiable, les robots pourraient être plus faciles à déployer dans des environnements où les flux de travail changent fréquemment.
Microsoft a également mis en avant une démonstration faisant intervenir BusyBox, un banc d’essai d’interaction physique récemment présenté par l’entreprise. Dans la vidéo, Rho-alpha interagit avec le dispositif à vitesse réelle tout en répondant à des instructions formulées comme à l’oral, ce qui illustre le potentiel du système pour exécuter des tâches de manière réactive et étape par étape.
Ce qui fait de Rho-alpha un système « VLA+ »
Microsoft décrit Rho-alpha comme un « modèle VLA+ », ce qui signifie qu’il va au-delà des entrées visuelles et linguistiques habituelles des premières approches VLA.
Pour la perception, Rho-alpha ajoute la détection tactile, et des travaux sont en cours pour prendre en charge des modalités telles que la force. Il s’agit d’une avancée technique importante, car le retour tactile est souvent essentiel pour des tâches comme l’insertion d’une fiche, la préhension d’objets inconnus ou la manipulation d’éléments qui se déplacent au contact.
Pour l’apprentissage, Microsoft affirme travailler à permettre à Rho-alpha de s’améliorer continuellement pendant son déploiement, en apprenant des retours fournis par les utilisateurs. Cette capacité pourrait réduire le temps consacré au réentraînement des modèles depuis zéro, tout en permettant aux robots de s’adapter au fil du temps à des environnements, des préférences ou des contraintes de sécurité spécifiques.
Cette adaptabilité est au cœur de l’argumentaire de Microsoft. L’entreprise estime que l’« adaptabilité » elle-même devrait être considérée comme une caractéristique fondamentale de l’intelligence — ce qui laisse entendre que la robotique s’éloigne de l’automatisation rigide pour se rapprocher de systèmes évoluant en fonction des conditions du monde réel.
La pénurie de données d’entraînement reste un obstacle majeur
L’un des problèmes les plus difficiles de l’IA robotique concerne les données. Contrairement aux modèles de langage, qui peuvent être entraînés sur d’immenses quantités de textes en ligne, les robots ont besoin de données ancrées dans l’expérience physique. Recueillir cette expérience au moyen de démonstrations dans le monde réel prend du temps, coûte cher et s’avère parfois impossible.
L’approche de Microsoft combine des démonstrations physiques avec de la simulation et des données de questions-réponses visuelles à grande échelle issues du Web. Cette stratégie d’entraînement hybride doit aider le modèle à apprendre des concepts visuels et linguistiques généraux, tout en développant des compétences physiques nécessitant une interaction ancrée dans le réel.
Cela laisse penser que l’entraînement robotique à grande échelle pourrait moins dépendre de flottes de robots téléopérés que de systèmes de simulation capables de générer rapidement des scénarios d’entraînement variés — en particulier pour les événements rares ou les tâches dangereuses.
Nvidia Isaac Sim
Microsoft affirme que la simulation joue un rôle essentiel pour compenser la disponibilité limitée des données robotiques, notamment des jeux de données de retour tactile. Son pipeline génère des données synthétiques au moyen d’un processus en plusieurs étapes fondé sur l’apprentissage par renforcement et utilisant le framework open source Nvidia Isaac Sim. Ces trajectoires simulées sont ensuite combinées à des jeux de données de démonstrations physiques commerciaux et accessibles au public.
Cette dynamique de partenariat souligne le rôle croissant de l’infrastructure cloud dans le développement de la robotique. Plutôt que d’entraîner les modèles uniquement sur l’appareil, les organisations pourraient s’appuyer de plus en plus sur la simulation hébergée dans le cloud à grande échelle, ce qui permettrait d’accélérer les cycles d’itération et les mises à jour des modèles.
La correction humaine reste au cœur de la boucle
Malgré les progrès réalisés en matière de perception et d’apprentissage, Microsoft reconnaît que les robots peuvent encore commettre des erreurs difficiles à rattraper. L’entreprise indique que les opérateurs humains peuvent fournir une assistance en temps réel à l’aide d’outils de téléopération tels qu’une souris 3D, et que Microsoft travaille sur des outils et des techniques d’adaptation des modèles permettant à Rho-alpha d’apprendre des retours correctifs.
Les instructions présentées pour une configuration équipée d’un capteur tactile et de deux bras UR5e comprenaient :
Instruction : « Saisis la fiche d’alimentation et insère-la dans la prise inférieure du parasurtenseur carré. »
Instruction : « Place le plateau dans la boîte à outils et ferme la boîte à outils. »
Instruction : « Sors le plateau de la boîte à outils et pose-le sur la table. »
Dans un exemple, Microsoft a décrit les difficultés rencontrées par le bras droit lors de l’insertion de la fiche, avant qu’il ne reçoive des indications humaines en temps réel. Ce détail met en lumière une réalité essentielle à court terme : les déploiements pratiques pourraient nécessiter une autonomie partagée, dans laquelle les humains interviennent dans les cas limites tandis que les systèmes s’améliorent progressivement.
Vers des plateformes d’IA physique personnalisables
Microsoft affirme travailler sur des technologies fondamentales comme Rho-alpha et sur les outils associés, qui permettraient aux fabricants, aux intégrateurs et aux utilisateurs finaux d’entraîner, de déployer et d’adapter en continu une IA physique hébergée dans le cloud, à partir de leurs propres données et pour leurs propres robots et scénarios.
Si ce modèle aboutit, il pourrait transformer l’écosystème de la robotique en abaissant les barrières à l’adoption. Au lieu de dépendre exclusivement d’équipes d’ingénierie robotique hautement spécialisées, davantage d’organisations pourraient déployer des systèmes adaptables réglés en fonction de leurs flux de travail spécifiques.
Alors qu’une grande partie du secteur de l’IA se concentre sur le remplacement du travail humain, une jeune pousse axe sa technologie sur les individus.