Ein auf dem Rücken eines humanoiden Roboters mitfahrender Mac mini hilft Apple dabei zu testen, ob in der Simulation erlernte Fähigkeiten auch in einem unbekannten Raum funktionieren.
Apple-Forscher haben HALO vorgestellt, ein autonomes Steuersystem, das humanoiden Robotern dabei helfen soll, Anweisungen zu verstehen, sich in unbekannten Umgebungen zurechtzufinden und physische Aufgaben auszuführen, ohne auf vorab kartierte Bereiche angewiesen zu sein. Das Team beschrieb die Technologie in Wahrnehmungsbasierte humanoide Bewegung aus Simulation, einem auf arXiv am 4. Nov. veröffentlichten Forschungs-Preprint.
Die Forscher testeten HALO auf dem humanoiden Roboter G1 von Unitree Robotics, der in 360 Versuchen in sechs realen Umgebungen eine gemeldete durchschnittliche Erfolgsquote von 91 % bei Einzelaufgaben erreichte. Anders als Roboter, die auf vorprogrammierten Bewegungen oder detaillierten Umgebungskarten beruhen, nutzt HALO visuelle Informationen und erlernte Bewegungsmuster, um auf sich verändernde Umgebungen zu reagieren. Demonstrationen zeigen, wie der Roboter Kisten schiebt, Menschen folgt, sich auf Stühle setzt und sich durch enge Öffnungen bewegt.
Die Ergebnisse geben einen Einblick in Apples Robotikforschung im Rahmen des breiteren Vorstoßes in Richtung physischer KI, obwohl das Unternehmen noch keinen kommerziellen humanoiden Roboter angekündigt hat.
Ein Mac mini liefert die Intelligenz des Roboters
HALO nutzt eine Architektur aus drei Ebenen, um Entscheidungsfindung und physische Bewegungen zu koordinieren. Die erste Ebene interpretiert natürlichsprachliche Anweisungen und zerlegt sie in kleinere Aufgaben. Sie führt Qwen3.6-35B-A3B lokal auf einem Mac mini M4 Pro mit 64 GB gemeinsam genutztem Speicher aus.
Die zweite Ebene nutzt einen Qwen3.5-2B-Vision-Language-Encoder und einen Diffusion-Transformer, um Ganzkörper-Bewegungspläne für einen Zeitraum von etwa fünf Sekunden zu erzeugen. Sie aktualisiert diese Pläne ungefähr dreimal pro Sekunde.
Eine dritte Ebene läuft auf dem Nvidia-Jetson-Orin-NX-Prozessor des G1, verfolgt Bewegungen und gibt 50-mal pro Sekunde Befehle auf Gelenkebene aus. Der Roboter trägt außerdem eine am Kopf befestigte OAK-1W-Kamera. Mac mini und Jetson kommunizieren über das integrierte Gigabit-Ethernet. HALO läuft standardmäßig ohne Internetzugang, wobei die optionale Orchestrierung von Cloud-Modellen eine Verbindung erfordert.
Simulation hilft HALO beim Lernen, bevor der Roboter in echte Wohnungen kommt
Statt Tausende Stunden an von Menschen gesteuerten Roboterdemonstrationen zu sammeln, erzeugten Apples Forscher etwa 300 Stunden Trainingsdaten in 1.000 prozedural erstellten simulierten Wohnungen.
Der Prozess dauerte mit 250 Nvidia-H100-GPUs etwa 48 Stunden. Der Bewegungsgenerator wurde mit 64 B200-GPUs trainiert, während der Bewegungs-Tracker vier H100-GPUs nutzte. Dieser Ansatz ermöglicht es den Forschern, vielfältige Trainingsumgebungen zu erstellen, ohne jeden Ort physisch bauen oder scannen zu müssen.
Allerdings wird die Leistung weniger konstant, wenn HALO mehrere Aktionen kombinieren muss. Die Tests mit Einzelaufgaben ergaben in 360 Versuchen in sechs realen Umgebungen eine durchschnittliche Erfolgsquote von 91 %. Eine separate Bewertung von drei Sequenzen aus mehreren Aufgaben kam auf durchschnittlich 70 %, basierend auf jeweils 10 Versuchen pro Sequenz in einer Umgebung. Eine Sequenz, die in die Hocke gehen, auf eine Kiste zugehen und sie schieben umfasste, gelang nur in 50 % der Fälle.
Die Lücke zwischen einzelnen Fähigkeiten und Autonomie
Die Forschung zeigt außerdem mehrere Hürden auf, die Apple überwinden muss, bevor diese Technologie anspruchsvollere Anwendungen unterstützen kann.
Die Forscher stellten fest, dass HALO weiterhin Menschen benötigt, die neue Aufgaben durch schriftliche Anweisungen und festgelegte Bewegungsabläufe definieren. Die Abhängigkeit von visueller Wahrnehmung erschwert zudem den Umgang mit Objekten, die verdeckt werden oder sich außerhalb des Kamerabilds bewegen.
Zu den weiteren Einschränkungen gehören eine enge Verbindung zwischen Bewegungsplanung und -ausführung sowie ein relativ einfaches System zur Aufgabenorchestrierung. Das Team nannte Tastsensorik und fortschrittlichere KI-Agenten als mögliche Verbesserungen. Diese Schwächen sind relevant, weil Roboter in Wohnungen, Lagern und Fabriken unerwartete Situationen bewältigen müssen, anstatt lediglich vertraute Bewegungen zu wiederholen.
Was eWeek herausgefunden hat: Vielfalt beim Training ist wichtig, die Autonomie bleibt jedoch begrenzt
Eine der interessantesten Erkenntnisse aus Apples Arbeit ist, wie stark die Vielfalt der simulierten Umgebungen die Leistung des Roboters beeinflusst.
In einem Simulationsexperiment zur Sitzaufgabe von HALO sank die Erfolgsquote von 84 % auf 81 %, als die Trainingsumgebungen von 1.000 auf 100 reduziert wurden; bei einer Reduzierung auf 10 fiel sie auf 64 %, während das Training in nur einer Umgebung zu 43 % führte.
Das deutet darauf hin, dass es wertvoller sein könnte, Roboter verschiedenen Umgebungsbedingungen auszusetzen, als einfach die Zahl der Demonstrationen in ähnlichen Umgebungen zu erhöhen.
Die Erkenntnis hat Auswirkungen auf Unternehmen, die Systeme für physische KI entwickeln für Einsatzumgebungen in Unternehmen. Ein Lagerroboter muss beispielsweise mit unterschiedlichen Grundrissen, Hindernissen und Objektpositionen zurechtkommen. Ein System, das hauptsächlich unter vorhersehbaren Bedingungen trainiert wurde, könnte beim Einsatz in einer anderen Anlage Schwierigkeiten haben.
Apples Ansatz zeigt außerdem, dass sinnvolle Roboterintelligenz nicht unbedingt einen Rechenzentrumscomputer erfordert, der physisch mit jeder Maschine verbunden ist. HALO führt seine übergeordnete Entscheidungsfindung auf einem Mac mini aus, während die zeitkritische Bewegungssteuerung dem integrierten Prozessor des Roboters überlassen wird.
Die Erfolgsquote von 70 % bei Aufgaben aus mehreren Schritten zeigt jedoch, dass zuverlässige Einzelbewegungen nicht automatisch zu verlässlicher Autonomie führen. Diese Unterscheidung wird für Unternehmen wichtig sein, die humanoide Roboter für Aufgaben in Betracht ziehen, bei denen Fehler Geräte beschädigen, den Betrieb unterbrechen oder Sicherheitsrisiken verursachen könnten.
Für Unternehmen, die humanoide Roboter bewerten, sollte die nächste Demonstration drei praktische Fragen beantworten:
- Überträgt sich die Leistung? Bitten Sie um Tests in unbekannten Grundrissen, bei unterschiedlichen Lichtverhältnissen und mit variierenden Objektpositionen.
- Kann der Roboter den gesamten Ablauf bewältigen? Bewerten Sie vollständige Aufgabenfolgen einschließlich der Erholung nach einem ausgelassenen Schritt.
- Welche Ressourcen erfordert der Einsatz? Trennen Sie die für das Training des Systems erforderliche Rechenleistung von der für seinen Betrieb benötigten Hardware und Konnektivität.
Vorerst bietet HALO eher eine Forschungsrichtung als eine Grundlage für eine Kaufentscheidung. Unternehmen benötigen weiterhin Belege dafür, dass ein Roboter ihre Arbeitsabläufe unter den Bedingungen, die ihn erwarten, zuverlässig ausführen kann.
Mehr dazu: Die integrierte Rechenleistung von HALO verdeutlicht, warum die lokale Ausführung von KI attraktiv ist. Erfahren Sie, wie Apples Mac Studio größere lokale KI-Workloads bewältigt.