ヒューマノイドロボットの背中に載せたMac miniが、シミュレーションで学習したスキルを不慣れな部屋でも発揮できるかどうか、Appleが検証するのに役立っている。
Appleの研究者らは、ヒューマノイドロボットが指示を理解し、不慣れな環境を移動し、事前にマッピングされた空間に頼らず物理的なタスクを実行できるよう設計した自律制御システム「HALO」を発表した。チームはこの技術を シミュレーションからの知覚的ヒューマノイドモーションと題する、11月4日にarXivへ投稿した研究プレプリントで詳述した。
研究者らは、Unitree RoboticsのG1ヒューマノイドロボットを使ってHALOをテストした。同ロボットは、6つの実環境で360回の試行を行い、単一タスクの平均成功率91%を達成したと報告されている。あらかじめプログラムされた動作や詳細な環境マップに依存するロボットとは異なり、HALOは視覚情報と学習した動作パターンを使って、変化する周囲の状況に対応する。デモでは、ロボットが箱を押す、人について歩く、椅子に座る、狭い開口部を通り抜けるといった動作を披露している。
この結果は、Appleのロボティクス研究が、より広範な フィジカルAIへの取り組みの中でどのような位置を占めるかを示すものだ。ただし、同社は商用ヒューマノイドロボットを発表していない。
Mac miniがロボットの知能を担う
HALOは3層構成のアーキテクチャーを使い、意思決定と物理的な動きを調整する。第1層は自然言語の指示を解釈し、より小さなタスクに分解する。この層は、64GBのユニファイドメモリを搭載したMac mini M4 Pro上でQwen3.6-35B-A3Bをローカル実行する。
第2層は、Qwen3.5-2Bの視覚・言語エンコーダーと拡散トランスフォーマーを使い、約5秒分の全身の動作計画を生成する。この計画は毎秒約3回更新される。
第3層はG1のNvidia Jetson Orin NXプロセッサー上で動作し、動きを追跡しながら毎秒50回、関節レベルのコマンドを発行する。ロボットの頭部にはOAK-1Wカメラも搭載されている。Mac miniとJetsonは、機体内のギガビットEthernetで通信する。HALOのデフォルト構成はインターネット接続なしで動作するが、オプションのクラウドモデル・オーケストレーションには接続が必要になる。
シミュレーションで学習してから実際の住宅に入るHALO
人間がロボットを操作するデモを何千時間も収集する代わりに、Appleの研究者らは手続き的に生成した1,000軒のシミュレーション住宅で、約300時間分のトレーニングデータを作成した。
このプロセスにはNvidia H100 GPU 250基を使い、約48時間を要した。動作生成器のトレーニングにはB200 GPU 64基、動作トラッカーにはH100 GPU 4基を使用した。この手法により、研究者らは各場所を実際に建設したりスキャンしたりせずに、多様なトレーニング環境を作成できる。
ただし、HALOが複数の動作を組み合わせなければならない場合、性能は一貫性を失う。単一タスクのテストでは、6つの実環境における360回の試行で平均成功率91%だった。一方、3つの複合タスクシーケンスを別途評価したところ、1つの環境で各シーケンスを10回ずつ試行した平均成功率は70%だった。しゃがみ、箱に向かって歩き、箱を押すというシーケンスの成功率は、わずか50%だった。
個別のスキルと自律性の隔たり
この研究からは、Appleがこの技術をより要求の厳しい用途に対応させる前に乗り越えなければならない障壁も、いくつか浮かび上がる。
研究者らによると、HALOが新しいタスクを実行するには、書面による指示と設計済みの動作シーケンスを人間が定義する必要が依然としてある。また、視覚認識に依存しているため、物体が遮られたりカメラの視野外に移動したりした場合への対応も難しい。
その他の限界としては、動作計画と実行の連携が限定的であることや、タスク・オーケストレーションシステムが比較的基本的なものであることが挙げられる。チームは改善策として触覚センシングと、より高度なAIエージェントを挙げた。家庭、倉庫、工場で稼働するロボットは、慣れた動作を単に繰り返すのではなく、予期せぬ状況に対処しなければならないため、こうした不足は重要な意味を持つ。
eWeekが分かったこと：トレーニングの多様性は重要だが、自律性にはなお限界
Appleの論文で特に興味深いのは、シミュレーション環境の多様性がロボットの性能に大きく影響する点だ。
HALOの着座タスクを対象にしたシミュレーション実験では、トレーニング環境を1,000から100に減らすと成功率は84%から81%に低下し、10に減らすと64%まで下がった。環境を1つだけにしてトレーニングした場合、成功率は43%だった。
このことは、似たような環境でのデモの数を単純に増やすよりも、異なる環境条件にロボットを触れさせる方が価値を持つ可能性を示している。
この知見は、エンタープライズ環境向けのフィジカルAIシステムを開発する企業にとっても意味を持つ。例えば倉庫ロボットは、さまざまなレイアウト、障害物、物体の位置に対処しなければならない。予測しやすい条件を中心にトレーニングしたシステムは、別の施設に導入された際に苦戦する可能性がある。
Appleのアプローチはまた、意味のあるロボット知能を実現するために、すべての機体へデータセンター級のコンピューターを物理的に接続する必要は必ずしもないことを示している。HALOは高度な推論をMac mini上で実行し、時間に敏感な動作制御はロボット内蔵プロセッサーに任せている。
ただし、複合タスクの成功率が70%にとどまったことは、個々の動作を確実に実行できても、それが信頼できる自律性に自動的につながるわけではないことを示している。この違いは、ミスが機器の損傷や業務の中断、安全上のリスクにつながり得るタスクにヒューマノイドロボットを導入しようとする企業にとって重要になる。
ヒューマノイドロボットを評価する企業にとって、次のデモでは実用上、次の3つの疑問に答える必要がある。
- 性能は移行するか？不慣れなレイアウト、照明条件、物体の位置でテストするよう求める。
- ロボットはワークフローを完遂できるか？途中のステップを飛ばした後の復旧も含め、タスクシーケンス全体を評価する。
- 導入にはどのようなリソースが必要か？システムのトレーニングに必要なコンピューティングと、運用に必要なハードウェアおよび接続性を分けて考える。
現時点でHALOは、購入を判断できる製品というより、研究の方向性を示すものだ。企業は、自社のワークフローを、実際に遭遇する条件下でロボットが一貫して完遂できるという証拠をなお必要としている。
続きを読む：HALOのオンボードコンピューティングは、AIをローカルで実行する魅力を示している。詳しくは AppleのMac Studio、大規模なローカルAIワークロードを狙う。