Mistral AI sort du chatbot pour entrer dans le monde physique.
L’entreprise française d’IA Mistral AI a lancé son premier modèle de robotique, Robostral Navigate, alors qu’elle s’aventure au-delà des modèles de langage et plus profondément dans l’IA physique. Ce modèle de 8 milliards de paramètres est conçu pour aider les robots à se déplacer dans des environnements complexes à l’aide d’une caméra RGB standard et d’instructions en langage naturel.
Au lieu de s’appuyer sur le LiDAR, des capteurs de profondeur ou plusieurs caméras, Robostral Navigate utilise les informations visuelles fournies par une seule caméra pour déterminer où le robot doit se déplacer ensuite.
Selon Mistral, le modèle peut gérer des instructions telles que traverser un bâtiment, entrer dans une pièce précise et s’arrêter à un endroit donné, sans qu’un opérateur humain ait à guider chaque étape. L’entreprise entend utiliser Robostral Navigate dans les secteurs de la fabrication, de la logistique, de la livraison, de l’hôtellerie et dans d’autres environnements où les robots autonomes deviennent de plus en plus courants.
Un modèle plus petit aux ambitions de navigation élevées
D’après Mistral, Robostral Navigate a atteint un taux de réussite de 76,6 % sur le benchmark de validation inédit R2R-CE. Ce benchmark vérifie si un modèle peut suivre des instructions de navigation dans des environnements simulés qu’il n’avait pas rencontrés pendant son entraînement.
L’entreprise affirme que ces performances sont supérieures de 9,7 points de pourcentage à celles de la meilleure approche utilisant une seule caméra, et de 4,5 points à celles de systèmes recourant à du matériel supplémentaire, comme des capteurs de profondeur ou plusieurs caméras. Le modèle a également atteint un taux de réussite de 79,4 % dans des environnements de validation qu’il avait déjà vus, selon Mistral.
Plutôt que de calculer les déplacements uniquement au moyen de commandes de distance traditionnelles, Robostral Navigate adopte une approche fondée sur le « pointage ». Il prédit l’emplacement, dans le champ de vision de la caméra du robot, vers lequel celui-ci doit se déplacer, ainsi que la direction dans laquelle il doit être orienté à son arrivée. Lorsque la cible se trouve hors du champ de vision de la caméra, le système peut basculer vers des instructions de déplacement local.
Conçu pour différents robots et environnements
Mistral a indiqué que le modèle avait été entièrement développé en interne et entraîné par simulation, sans s’appuyer sur des modèles de vision-langage open source existants.
L’entreprise a créé un jeu de données d’entraînement contenant environ 400 000 trajectoires de robots dans 6 000 environnements simulés. Elle a également mis au point une technique d’entraînement fondée sur la mise en cache des préfixes, qui aurait réduit de 22 fois le nombre de tokens d’entraînement par rapport au traitement séparé de chaque étape du déplacement.
Après l’entraînement initial, Mistral a utilisé l’apprentissage par renforcement en ligne au moyen de son algorithme CISPO afin d’améliorer les performances. L’entreprise affirme que ce processus a aidé le modèle à apprendre par essais et erreurs, à se remettre de ses échecs et à améliorer son exploration, augmentant les taux de réussite de 3,2 %.
Pourquoi cela compte pour le secteur de la robotique
Les robots se sont traditionnellement appuyés sur des systèmes de capteurs coûteux et des environnements soigneusement contrôlés. Un modèle capable de se déplacer à l’aide d’une simple caméra standard pourrait réduire les coûts matériels et faciliter le déploiement pour les entreprises souhaitant développer leur automatisation.
Cependant, la navigation ne constitue qu’une partie de la conception de robots performants. Robostral Navigate se concentre sur les déplacements et ne prend pas en charge des tâches telles que saisir des objets, manipuler des outils ou effectuer des travaux physiques complexes. La réussite du modèle dans le monde réel dépendra de sa fiabilité face à des environnements imprévisibles, à des conditions changeantes et aux exigences de sécurité liées à la présence humaine.
Autre actualité : la robotique chinoise réalise elle aussi des avancées majeures avec les premiers robots humanoïdes ultra-bioniques grandeur nature au monde. Découvrez ce que ces robots sont capables de faire.