MITが開発したシステムにより、ロボットは近く、物事を正しく記憶するための2度目の機会を得られるようになるかもしれない。このシステムは、機械が誤った記憶を特定し、新たな視覚的証拠を使って書き換えるのを支援する。
マサチューセッツ工科大学（MIT）の研究者らは、UQ-DAAAMと呼ばれる人工知能システムを開発した。これによりロボットは、周囲にある物体についての信頼性の低い説明を検出し、より正確な情報に置き換えられる。
MITは、医療上の緊急事態を例にこの問題を説明した。壁掛け式の除細動器を取りに行くよう指示されたロボットが、以前その装置を消火器と取り違えていた場合、作業に失敗する可能性がある。ロボットが保存された情報に疑問を持ち、更新できるようにすることで、研究者らは、自律システムがますます複雑な作業を担う際の信頼性を高めたいと考えている。
ロボットに誤った記憶を修正する方法が必要な理由
このシステムは、家庭、病院、産業施設でより複雑な仕事を担うロボットが増えるにつれて重要性を増す可能性がある問題に対処する。機械は物体を識別する際に間違え、その最初の観察から長い時間が経過した後も誤った情報に頼り続けることがある。
MITは、医療上の緊急事態を例にこのリスクを説明した。壁掛け式の除細動器を取りに行くよう指示されたロボットが、以前その装置を消火器と誤認していた場合、失敗する可能性がある。Uncertainty Quantification for Describe Anything, Anywhere, at Any Momentの略称であるUQ-DAAAMは、こうした誤りが恒久化するのを防ぐことを目指している。
この研究は、MITが以前開発したDAAAMフレームワークを基盤としている。このフレームワークは、視覚言語モデル（VLM）を使い、ロボットのカメラが捉えた物体の説明を生成する。これらの説明は、将来参照できるよう環境の3次元マップに保存される。
しかし、物体が遠い場合や照明が不十分な場合、カメラの視界が部分的に遮られている場合には、システムが不正確な説明を生成することがある。修正の仕組みがなければ、こうした誤りが後続の判断に影響を及ぼす可能性がある。
システムが誤った記憶を書き換える仕組み
UQ-DAAAMは、不確実性の測定と、異なる視点から捉えた観察結果を組み合わせる。
ロボットが移動すると、カメラは周囲の画像を収集する。システムはVLMが生成した説明の確信度を評価し、同じ物体を別の画像から生成したキャプションと比較する。さらに、これらの測定値を不確実性スコアにまとめる。
スコアがあらかじめ定めたしきい値を超えると、システムは、その物体が実際には何であるかを明らかにするのに役立つ追加画像を選択する。
研究者らは、すべての画像に対して視覚言語モデルを繰り返し実行する代わりに、不確実性の解消に最も役立つカメラ視点を特定する数学的手法を開発した。これにより、ロボットが環境内を移動する際に必要な処理量を削減できる。
1つの大規模言語モデル（LLM）が、選択された説明を組み合わせて改訂版の記憶エントリーを作成する。その際、新しく、曖昧さの少ない観察結果により大きな重みを与える。
MITの准教授で研究論文のシニア著者であるLuca Carlone氏は、次のように述べた。「ロボットが自分の知らないことを認識できるようにすることは、この技術を安全に導入し、社会にプラスの影響をもたらすうえで不可欠になる」
初期テストで測定可能な改善を確認
MITが報告した実験では、システムはロボットの環境内にある物体のおよそ92%について曖昧さを解消した。必要だった追加キャプションは、物体1つあたりわずか2つだった。
また、既存の最先端手法と比べて物体説明の正確度が5%向上した。研究者らは、このシステムを使ったロボットが、遭遇した物体について、より正確に回答できることを確認した。物体をどこで見たか、最後に観察したのはいつかについても同様だった。
研究成果は、Neural Information Processing Systems（NeurIPS）カンファレンスで発表される予定だ。研究チームには、Carlone氏とMITの大学院生であるHarry Zhang氏、Nicolas Gorlo氏が参加している。この研究は、米陸軍研究所と米海軍研究局から一部支援を受けた。
eWEEKの見解：記憶が改善しても、ロボットの安全性が自動的に高まるわけではない
ここでより重要な進展は、ロボットが誤った物体ラベルを修正できるということだけではない。MITが、フィジカルAIシステムが時間の経過とともに情報を利用する方法の弱点に取り組んでいる点にある。
eWEEKが重要だと考えるのは、誤りを認識して修正する能力が、企業向けロボットにとって重要な要件になる可能性があることだ。特に、企業が変化する環境を移動し、人と協働しなければならない自律型マシンを導入する場合はなおさらである。
一度物体を誤認したロボットは、その誤りを後続する複数の作業に持ち越す可能性がある。例えば産業現場では、外見が似た2つの部品を取り違えると、機器の取り扱い、検査、組み立てに影響する可能性がある。病院では、ロボットが医療機器を取りに行くことを期待されている場合、物体の説明が間違っていると問題が生じる可能性がある。
UQ-DAAAMは、保存された情報を恒久的に信頼できるものとして扱うのではなく、以前の観察結果に異議を唱える方法を導入する。企業が変化する環境を移動し、人と協働しなければならない自律型マシンを導入する中で、これは重要な能力になる可能性がある。
ただし、報告された92%という曖昧さ解消率は、システムがロボットのあらゆる誤りの92%をなくすという意味ではない。この数値は、研究者らの評価条件下で、改良プロセスがどの程度の頻度で曖昧さを解消したかを測定したものだ。また、修正された記憶のすべてが安全な物理的動作につながることを示すものでもない。
したがって、フィジカルAIの導入を検討している企業は、物体認識の正確度だけに目を向けるべきではない。こうしたシステムが誤った修正を避け、不確実性が残っていることを認識し、観察結果が食い違った際に安全な判断を下せることを示す証拠が必要になる。
こうした能力を安全性が重視される作業に適用する前に、未知の環境で独立したテストを行うことが特に重要になる。
MITの研究者らは、移動マニピュレーターなど他のロボットプラットフォームにもUQ-DAAAMを拡張し、ロボットが不確実な場所を能動的に再訪して、より確かな証拠を収集できるかどうかを調べる計画だ。
より広い意味では、信頼できるロボットには正確な認識だけでは不十分なのかもしれない。世界について自分が現在持っている理解を、もはや信頼できないと認識する能力も必要になる可能性がある。
Boston Dynamicsは Stretch Gen 2を発表し、1時間あたり最大1,000箱を荷下ろしでき、内部配線を81%削減し、メンテナンスによる停止時間の短縮を目指して部品を再設計した、アップグレード版の倉庫ロボットを披露した。