Le sable, le gravier meuble, l’herbe mouillée et les pentes raides peuvent rapidement révéler les limites de l’équilibre d’un robot humanoïde.
Des chercheurs du Georgia Institute of Technology ont développé un framework d’apprentissage automatique appelé « Learn to Teach », qui a entraîné un robot bipède à se déplacer sur des terrains extérieurs variés et des surfaces intérieures glissantes à l’aide d’un seul contrôleur. Présentée lors de l’IEEE International Conference on Robotics and Automation, cette méthode entraîne simultanément deux modèles d’apprentissage par renforcement, au lieu d’attendre que l’un ait terminé avant de commencer l’autre.
Cette avancée optimise une méthode d’apprentissage par renforcement connue sous le nom d’apprentissage enseignant-élève. Habituellement, les scientifiques entraînent un agent « enseignant » simulé avec des informations plus complètes sur l’environnement, puis utilisent ce modèle arrivé à maturité pour entraîner un algorithme « élève » destiné au robot physique.
Feiyang Wu, doctorant en apprentissage automatique à l’origine de ces travaux, a identifié d’importantes inefficacités dans cette approche traditionnelle. « Cette approche pose deux problèmes », a déclaré Wu. « Il faut trop de temps pour les entraîner séquentiellement. Ensuite, on gaspille une grande partie des informations recueillies par l’enseignant. »
Comme ces simulations reposent sur des puces GPU coûteuses, la durée prolongée des calculs se traduit directement par des coûts de développement élevés. L’équipe de Georgia Tech a contourné ce problème en entraînant simultanément les modèles enseignant et élève.
« Il n’est pas nécessaire d’attendre que l’enseignant soit un expert pour qu’il commence à enseigner à l’élève, a déclaré Wu. L’enseignant peut progressivement transmettre à l’élève ce qu’il a appris en chemin. »
En outre, l’équipe a permis à l’enseignant d’apprendre des erreurs de l’élève. Cela ciblait le « fossé d’imitation enseignant-élève », qui apparaît lorsque le robot physique obtient de moins bons résultats parce qu’il ne dispose pas des données environnementales plus riches accessibles à l’enseignant simulé.
Déployé sur un humanoïde physique dans le laboratoire d’Associate Professor Ye Zhao, le contrôleur a dépassé les attentes. Il a même permis au robot d’adapter sa démarche et de rester debout lorsque les chercheurs le poussaient et le tiraient physiquement. Selon Zhao, le système s’est montré plus performant que le logiciel standard fourni par le fabricant du robot.
Démocratiser le laboratoire
Ce framework marque un éloignement du calcul par force brute au profit de l’efficacité algorithmique. Historiquement, l’industrie de la robotique a souffert d’une forte barrière à l’entrée : seuls les géants de la technologie pouvaient s’offrir les vastes grappes de GPU nécessaires à l’entraînement de machines lourdes.
En démontrant que l’entraînement simultané permet d’obtenir un meilleur équilibre sur des terrains non modélisés avec une fraction des ressources de calcul, Georgia Tech uniformise les conditions de concurrence pour les jeunes pousses et les laboratoires universitaires de plus petite taille.
En outre, comme le framework « Learn to Teach » est générique, ses implications commerciales vont bien au-delà de la marche. Il peut être appliqué à des bras robotisés dans des sites de production ou à des drones automatisés dans des entrepôts, accélérant considérablement la mise sur le marché de solutions d’automatisation spécialisées.
Les angles morts du monde réel
Malgré l’agilité démontrée sur les terrains du campus, l’adoption commerciale se heurte à des obstacles à court terme. Les chercheurs n’ont pas publié de références précises, ce qui signifie que les économies de calcul exprimées au dollar et au cent près restent indicatives plutôt que vérifiées.
En outre, si le robot a bien géré les irrégularités du terrain du campus, les déploiements dans le monde réel comportent des risques importants en matière de responsabilité. Les environnements industriels exigent des certifications de sécurité que les modèles d’apprentissage automatique statistique peinent à garantir. Comme les décisions d’un réseau neuronal peuvent être imprévisibles face à un obstacle qu’il n’a véritablement jamais rencontré, les entreprises pourraient hésiter à déployer ces contrôleurs fluides à proximité de travailleurs humains tant que les protocoles de test n’auront pas été largement standardisés.
Actualités connexes : NVIDIA s’associe à des leaders japonais de la robotique et de la fabrication pour introduire l’« IA physique » alimentée par l’IA dans les usines.