Un Mac mini installé sur le dos d’un robot humanoïde aide Apple à vérifier si des compétences acquises en simulation peuvent être transposées dans une pièce inconnue.
Des chercheurs d’Apple ont présenté HALO, un système de contrôle autonome conçu pour aider les robots humanoïdes à comprendre des instructions, à se déplacer dans des environnements inconnus et à effectuer des tâches physiques sans dépendre d’espaces pré-cartographiés. L’équipe a détaillé cette technologie dans Mouvements humanoïdes perceptifs issus de la simulation, un article de recherche en prépublication publié sur arXiv le 4 novembre.
Les chercheurs ont testé HALO sur le robot humanoïde G1 d’Unitree Robotics, qui a atteint un taux moyen de réussite de 91 % par tâche lors de 360 essais dans six environnements réels. Contrairement aux robots qui dépendent de mouvements préprogrammés ou de cartes détaillées de leur environnement, HALO utilise des informations visuelles et des schémas de mouvement appris pour réagir aux changements de son environnement. Des démonstrations montrent le robot pousser des boîtes, suivre des personnes, s’asseoir sur des chaises et se faufiler dans des ouvertures étroites.
Ces résultats donnent un aperçu des recherches d’Apple en robotique, dans le cadre de l’essor plus large de l’ IA physique, même si l’entreprise n’a annoncé aucun robot humanoïde commercial.
Un Mac mini alimente l’intelligence du robot
HALO utilise une architecture à trois couches pour coordonner la prise de décision et les mouvements physiques. La première interprète des instructions en langage naturel et les décompose en tâches plus petites. Elle exécute localement Qwen3.6-35B-A3B sur un Mac mini M4 Pro doté de 64 Go de mémoire unifiée.
La deuxième couche utilise un encodeur vision-langage Qwen3.5-2B et un transformeur de diffusion pour générer des plans de mouvement pour l’ensemble du corps couvrant environ cinq secondes. Elle met ces plans à jour environ trois fois par seconde.
Une troisième couche s’exécute sur le processeur Nvidia Jetson Orin NX du G1, suit les mouvements et envoie des commandes au niveau des articulations 50 fois par seconde. Le robot embarque également une caméra OAK-1W montée sur sa tête. Le Mac mini et le Jetson communiquent via le réseau Ethernet gigabit intégré. La configuration par défaut de HALO fonctionne sans accès à Internet, même si l’orchestration facultative de modèles cloud nécessite une connexion.
La simulation aide HALO à apprendre avant d’entrer dans de vraies maisons
Plutôt que de recueillir des milliers d’heures de démonstrations de robots pilotés par des humains, les chercheurs d’Apple ont généré environ 300 heures de données d’entraînement dans 1 000 habitations simulées créées de manière procédurale.
Le processus a pris environ 48 heures en utilisant 250 GPU Nvidia H100. Le générateur de mouvements a été entraîné avec 64 GPU B200, tandis que le suiveur de mouvements a utilisé quatre GPU H100. Cette approche permet aux chercheurs de créer des environnements d’entraînement variés sans construire ni scanner physiquement chaque lieu.
Cependant, les performances deviennent moins constantes lorsque HALO doit combiner plusieurs actions. Les tests portant sur des tâches individuelles ont affiché un taux de réussite moyen de 91 % sur 360 essais dans six environnements réels. Une évaluation distincte de trois séquences de tâches combinées a atteint une moyenne de 70 %, sur la base de 10 essais par séquence dans un seul environnement. Une séquence consistant à s’accroupir, marcher vers une boîte et la pousser n’a réussi que dans 50 % des cas.
L’écart entre compétences individuelles et autonomie
Cette étude met également en évidence plusieurs obstacles qu’Apple devra surmonter avant que cette technologie puisse répondre à des applications plus exigeantes.
Les chercheurs ont constaté que HALO avait encore besoin d’humains pour définir de nouvelles tâches au moyen d’instructions écrites et de séquences de mouvements conçues à l’avance. Sa dépendance à la perception visuelle complique également la gestion des objets qui sont masqués ou sortent du champ de la caméra.
Parmi les autres limites figurent une connexion limitée entre la planification des mouvements et leur exécution, ainsi qu’un système d’orchestration des tâches relativement rudimentaire. L’équipe a identifié la détection tactile et des agents d’IA plus avancés comme des pistes d’amélioration potentielles. Ces lacunes sont importantes, car les robots opérant dans les maisons, les entrepôts et les usines doivent gérer des situations imprévues plutôt que de simplement répéter des mouvements familiers.
Ce qu’a constaté eWeek : la diversité des entraînements compte, mais l’autonomie reste limitée
L’un des résultats les plus intéressants de l’article d’Apple concerne l’importance de la diversité des environnements simulés pour les performances du robot.
Dans une expérience de simulation consacrée à la tâche consistant pour HALO à s’asseoir, réduire le nombre d’environnements d’entraînement de 1 000 à 100 a fait passer le taux de réussite de 84 % à 81 %, tandis qu’une réduction à 10 environnements l’a ramené à 64 % et qu’un entraînement dans un seul environnement a donné un taux de 43 %.
Cela laisse penser qu’exposer les robots à différentes conditions environnementales pourrait être plus utile que d’augmenter simplement le nombre de démonstrations réalisées dans des environnements similaires.
Cette conclusion a des implications pour les entreprises qui développent des systèmes d’IA physique pour des environnements professionnels. Un robot d’entrepôt doit par exemple composer avec des agencements, des obstacles et des positions d’objets différents. Un système principalement entraîné dans des conditions prévisibles pourrait rencontrer des difficultés une fois déployé dans un autre site.
L’approche d’Apple montre également qu’une intelligence robotique pertinente ne nécessite pas forcément un ordinateur de centre de données connecté physiquement à chaque machine. HALO effectue son raisonnement de haut niveau sur un Mac mini tout en confiant le contrôle des mouvements sensibles au facteur temps au processeur embarqué du robot.
Cependant, son taux de réussite de 70 % sur les tâches combinées montre que des mouvements individuels fiables ne se transforment pas automatiquement en une autonomie fiable. Cette distinction sera importante pour les entreprises qui envisagent d’utiliser des robots humanoïdes pour des tâches où des erreurs pourraient endommager des équipements, interrompre les opérations ou créer des risques pour la sécurité.
Pour les entreprises qui évaluent les robots humanoïdes, la prochaine démonstration devra répondre à trois questions pratiques :
- Les performances se généralisent-elles ?Demandez des tests dans des configurations, des conditions d’éclairage et des positions d’objets inconnues.
- Le robot peut-il accomplir tout le processus ?Évaluez des séquences complètes de tâches, y compris la reprise après une étape manquée.
- Quelles ressources le déploiement nécessite-t-il ?Distinguez la puissance informatique nécessaire à l’entraînement du système du matériel et de la connectivité requis pour le faire fonctionner.
Pour l’instant, HALO constitue une piste de recherche plutôt qu’un argument d’achat. Les entreprises doivent encore obtenir la preuve qu’un robot peut accomplir leurs processus de manière fiable dans les conditions auxquelles il sera confronté.
À lire également : l’informatique embarquée de HALO illustre l’intérêt d’exécuter l’IA localement. Découvrez comment le Mac Studio d’Apple vise des charges de travail d’IA locale plus importantes.