Les robots pourraient bientôt avoir une seconde chance de se souvenir correctement des choses, grâce à un système du MIT qui aide les machines à identifier les souvenirs erronés et à les réécrire à partir de nouvelles informations visuelles.
Des chercheurs du Massachusetts Institute of Technology (MIT) ont mis au point un système d’intelligence artificielle appelé UQ-DAAAM, qui permet aux robots de détecter les descriptions peu fiables des objets qui les entourent et de les remplacer par des informations plus précises.
Le MIT a illustré le problème à l’aide d’une urgence médicale : un robot chargé de récupérer un défibrillateur fixé au mur pourrait échouer s’il avait auparavant pris l’appareil pour un extincteur. En permettant aux robots de remettre en question les informations stockées et de les actualiser, les chercheurs espèrent rendre les systèmes autonomes plus fiables à mesure qu’ils prennent en charge des tâches de plus en plus complexes.
Pourquoi les robots ont besoin d’un moyen de corriger leurs souvenirs erronés
Le système s’attaque à un problème qui pourrait gagner en importance à mesure que les robots prennent en charge des tâches plus complexes dans les maisons, les hôpitaux et les sites industriels : une machine peut se tromper en identifiant un objet et continuer à s’appuyer sur ces informations erronées longtemps après sa première observation.
Le MIT a illustré ce risque à l’aide d’une urgence médicale. Un robot chargé de récupérer un défibrillateur fixé au mur pourrait échouer s’il avait auparavant identifié à tort l’appareil comme un extincteur. UQ-DAAAM, acronyme de Uncertainty Quantification for Describe Anything, Anywhere, at Any Moment, vise à empêcher que de telles erreurs ne deviennent permanentes.
Les travaux s’appuient sur le précédent cadre DAAAM du MIT, qui utilise des modèles de vision et de langage (VLM) pour générer des descriptions des objets filmés par les caméras d’un robot. Ces descriptions sont stockées dans une carte tridimensionnelle de l’environnement afin de pouvoir être consultées ultérieurement.
Cependant, les objets éloignés, un mauvais éclairage et des angles de caméra partiellement obstrués peuvent amener le système à générer des descriptions inexactes. En l’absence de mécanisme de correction, ces erreurs peuvent influer sur les décisions ultérieures.
Comment le système réécrit les souvenirs erronés
UQ-DAAAM combine la mesure de l’incertitude avec des observations capturées depuis différents points de vue.
À mesure qu’un robot se déplace, ses caméras recueillent des images de son environnement. Le système évalue le degré de confiance accordé aux descriptions produites par le VLM et les compare aux légendes générées à partir d’autres images du même objet. Il combine ces mesures en un score d’incertitude.
Lorsque le score dépasse un seuil prédéfini, le système sélectionne des images supplémentaires susceptibles d’aider à déterminer ce qu’est réellement l’objet.
Plutôt que d’exécuter à répétition le modèle de vision et de langage sur chaque image, les chercheurs ont mis au point une méthode mathématique permettant d’identifier les points de vue de la caméra les plus utiles pour lever l’incertitude. Cela réduit la quantité de calcul nécessaire lorsque le robot se déplace dans son environnement.
Un grand modèle de langage (LLM) combine ensuite les descriptions sélectionnées en une entrée de mémoire révisée, en accordant davantage de poids aux observations les plus récentes et les moins ambiguës.
Luca Carlone, professeur associé au MIT et auteur principal de l’étude, a déclaré : « Permettre à un robot de savoir ce qu’il ignore sera essentiel pour déployer cette technologie en toute sécurité et lui permettre d’avoir un impact positif sur la société. »
Les premiers tests montrent des améliorations mesurables
Dans les expériences rapportées par le MIT, le système a levé les ambiguïtés concernant environ 92 % des objets présents dans l’environnement du robot, en ne nécessitant que deux légendes supplémentaires par objet.
Il a également amélioré de 5 % la précision des descriptions d’objets par rapport aux méthodes de pointe existantes. Les chercheurs ont constaté que les robots utilisant le système donnaient des réponses plus précises sur les objets qu’ils avaient rencontrés, l’endroit où ils les avaient vus et le moment de leur dernière observation.
Les résultats seront présentés à la Conference on Neural Information Processing Systems (NeurIPS). L’équipe de recherche comprend Carlone ainsi que les étudiants diplômés du MIT Harry Zhang et Nicolas Gorlo. Ces travaux ont bénéficié d’un soutien partiel de l’US Army Research Laboratory et de l’US Office of Naval Research.
Ce qu’eWEEK en retient : de meilleurs souvenirs ne rendent pas automatiquement les robots plus sûrs
L’évolution la plus importante ne tient pas simplement au fait que les robots peuvent corriger des étiquettes d’objets incorrectes. Elle tient à ce que le MIT s’attaque à une faiblesse dans la manière dont les systèmes d’IA physique utilisent les informations au fil du temps.
eWEEK a constaté que la capacité à reconnaître et à corriger les erreurs pourrait devenir une exigence essentielle pour les robots d’entreprise, en particulier lorsque les entreprises déploient des machines autonomes qui doivent évoluer dans des environnements changeants et travailler aux côtés de personnes.
Un robot qui identifie mal un objet une première fois peut reproduire cette erreur dans plusieurs tâches ultérieures. Dans un environnement industriel, par exemple, confondre deux composants d’apparence similaire pourrait avoir des conséquences sur la manipulation, l’inspection ou l’assemblage des équipements. Dans un hôpital, une description erronée d’un objet pourrait poser problème lorsqu’un robot est chargé de récupérer du matériel médical.
UQ-DAAAM propose un moyen de remettre en question une observation antérieure plutôt que de considérer les informations stockées comme définitivement fiables. Cette capacité pourrait devenir importante à mesure que les entreprises déploient des machines autonomes qui doivent évoluer dans des environnements changeants et travailler aux côtés de personnes.
Cependant, le taux de résolution des ambiguïtés de 92 % rapporté ne signifie pas que le système élimine 92 % de toutes les erreurs des robots. Il mesure la fréquence à laquelle le processus d’affinement a permis de résoudre les ambiguïtés dans les conditions d’évaluation des chercheurs. Il n’établit pas non plus que chaque souvenir corrigé conduira à une action physique sûre.
Les entreprises qui envisagent des déploiements d’IA physique doivent donc aller au-delà de la précision de la reconnaissance des objets. Elles devront disposer de preuves que ces systèmes peuvent éviter les corrections incorrectes, reconnaître lorsqu’une incertitude subsiste et prendre des décisions sûres lorsque leurs observations sont contradictoires.
Des tests indépendants dans des environnements inconnus seront particulièrement importants avant d’appliquer ces capacités à des tâches sensibles sur le plan de la sécurité.
Les chercheurs du MIT prévoient d’étendre UQ-DAAAM à d’autres plateformes robotiques, notamment aux manipulateurs mobiles, et d’étudier si les robots peuvent retourner activement dans les zones incertaines afin de recueillir de meilleurs éléments.
L’implication plus générale est que les robots fiables pourraient avoir besoin de davantage qu’une perception précise. Ils pourraient aussi devoir être capables de reconnaître que leur compréhension actuelle du monde ne peut plus être considérée comme fiable.
Boston Dynamics a dévoilé Stretch Gen 2, un robot d’entrepôt amélioré capable de décharger jusqu’à 1 000 colis par heure, avec 81 % de câblage interne en moins et des composants repensés pour réduire les temps d’immobilisation liés à la maintenance.