Runway bringt seit Jahren KI bei, Dinge auf dem Bildschirm zu bewegen. Nun will das Unternehmen herausfinden, ob diese Fähigkeiten Robotern helfen können, Dinge in der realen Welt zu bewegen. Hollywood, lerne die Fabrikhalle kennen.
Am 11. November veröffentlichte das Unternehmen sein Robotikmodell Praxis-1 für die kommerzielle Nutzung – einschließlich Modellgewichten, Inferenzcode und Werkzeugen zur Feinabstimmung unter der Apache-2.0-Lizenz. Das System mit 27,2 Milliarden Parametern kombiniert Videovorhersage mit der Generierung von Roboteraktionen und ermöglicht Entwicklern, seine Fähigkeiten an unterschiedliche Maschinen anzupassen.
Für Robotikunternehmen und Hersteller ist das Versprechen verlockend: Roboter, die neue Aufgaben mit weniger hardwarespezifischen Trainingsdaten erlernen können. Doch es gibt einen Haken. Einen Roboter in einem kontrollierten Test beeindruckend aussehen zu lassen, ist eine Sache. Ihn eine komplette Schicht in der Fabrikhalle überstehen zu lassen, ohne dass er die Aufgabe vermasselt, eine andere.
- Runway macht Praxis-1 über seine Partner hinaus verfügbar
- Wie ein Videomodell lernt, einen Roboter zu bewegen
- Die Tests von Praxis-1 zeigen Fortschritte – aber auch Grenzen
- Was eWeek festgestellt hat: Praxis-1 ist vielversprechend, aber seine Zuverlässigkeit in der realen Welt ist noch nicht bewiesen
- Was Unternehmen vor dem Einsatz von Praxis-1 berücksichtigen sollten
Runway macht Praxis-1 über seine Partner hinaus verfügbar
In seiner Ankündigung vom 11. November teilte Runway mit, dass Entwickler Praxis-1 über Hugging Face, das GitHub-Repository nutzen oder gehostete Inferenz über Reactor aufrufen können. Die Veröffentlichung umfasst Code für die vollständige Feinabstimmung sowie für die weniger ressourcenintensive Methode Low-Rank Adaptation (LoRA).
Runway stellte Praxis-1 im September vor und arbeitete mit Noble Machines, Standard Bots und Ultra an verschiedenen Robotersystemen, darunter einem Industriearm, einem zweiaarmigen Lagerroboter und einem zweibeinigen humanoiden Roboter.
Die Veröffentlichung im November ermöglicht es anderen Entwicklern, das Modell auf ihrer eigenen Ausrüstung zu testen, statt den Zugang auf die ursprünglichen Partner zu beschränken.
Zu den herunterladbaren Optionen gehören Checkpoints, die für ein einarmiges DROID-Setup und einen zweiarmigen YAM-Roboter trainiert wurden, sowie ein Basismodell zur Anpassung. Das Basismodell kann einen neuen Roboter nicht sofort bedienen: Runways Implementierungshinweise zufolge fehlen ihm die roboterspezifischen Aktionsköpfe, die zum Erteilen von Befehlen erforderlich sind.
Entwickler müssen diese Komponenten für ihre Hardware hinzufügen und trainieren.
Apache 2.0 erlaubt die kommerzielle Nutzung der von Runway veröffentlichten Gewichte und Software. Die unterstützenden Komponenten Wan2.2 und Qwen3.5 stehen jedoch unter separaten Lizenzen, die Entwickler prüfen müssen.
Wie ein Videomodell lernt, einen Roboter zu bewegen
Praxis-1 ist ein Mixture-of-Experts-Modell mit 27,2 Milliarden Parametern, das auf Runways Forschung zur Videogenerierung aufbaut. Statt ausschließlich durch Menschen zu lernen, die Roboter aus der Ferne steuern, lernt es zunächst anhand gewöhnlicher Videos, wie sich Objekte bewegen und miteinander interagieren, und kombiniert dieses Wissen während des Trainings mit Roboterdemonstrationen.
Laut Runways technischem Bericht erhält das Modell eine Anweisung, Kamerabilder und die aktuelle Position des Roboters. Es sagt voraus, wie die Szene als Nächstes aussehen sollte, und erzeugt Bewegungen für 1,6 Sekunden, dargestellt durch 24 Aktionen bei 15 Aktualisierungen pro Sekunde.
Der Roboter führt diese Bewegungen aus, beobachtet das Ergebnis und wiederholt den Vorgang.
Ziel ist es, visuelles Wissen auf verschiedene Maschinen zu übertragen und zugleich die Steuerung für die Kameras und Gelenke jedes Roboters fein abzustimmen. Runways Modell ist Teil eines größeren Vorstoßes in Richtung Training und Simulation physischer KI. Anders als NVIDIAs Referenzprojekt für einen humanoiden Roboter liefert Praxis-1 ein anpassbares Steuerungsmodell statt einer standardisierten Roboterplattform.
Die Tests von Praxis-1 zeigen Fortschritte – aber auch Grenzen
Runway berichtete, dass Praxis-1 in NVIDIAs RoboLab-120-Benchmark 555 von 1.200 simulierten Versuchen absolvierte – eine Erfolgsquote von 46,2 % bei 120 Aufgaben auf einer Tischplatte. Im Vergleich von Runway erreichte FLUX 3 Action 42,9 %, Cosmos3 Nano 36,8 % und pi0.5 28,0 %.
Diese Zahlen machen Praxis-1 nicht zum insgesamt bestplatzierten System in jeder Kategorie. NVIDIAs öffentliche Rangliste führt einige agentenbasierte und geschlossene Modelle mit mehr als 46,2 % auf. Bei der Überprüfung am 13. November wurde außerdem kein Eintrag für Praxis-1 angezeigt. Daher bleiben die veröffentlichte Punktzahl des Modells und seine behauptete Platzierung Runway zugeschrieben, statt hier unabhängig bestätigt zu sein.
Auch für physische Roboter gibt es Belege. Runway zufolge absolvierte Praxis-1 mit einem Franka FR3 88 von 100 Versuchen bei zehn Aufgaben mit jeweils einem Objekt, verglichen mit 80 von 100 für FLUX 3 Action unter denselben Testbedingungen. Das Unternehmen führte diese Versuche am 2. November durch; ihr Umfang ist deutlich begrenzter als die vielfältigen Aufgaben, mit denen ein kommerzieller Roboter konfrontiert sein könnte.
Was eWeek festgestellt hat: Praxis-1 ist vielversprechend, aber seine Zuverlässigkeit in der realen Welt ist noch nicht bewiesen
Runways technischer Bericht präsentiert ermutigende Ergebnisse, obwohl die Tests unterschiedliche Umgebungen und Komplexitätsstufen abdecken. Ein Vergleich zeigt, wie viel von Praxis-1s Leistung an physischen Robotern nachgewiesen wurde und wie viel weiterhin auf die Simulation beschränkt ist.
Bewertung | Ergebnis von Praxis-1 | Was noch unbewiesen ist |
|---|---|---|
RoboLab-120-Simulation | 46,2 % Erfolg bei 1.200 Versuchen | Zuverlässigkeit in einem laufenden Lager- oder Fabrikbetrieb |
Physischer Franka-Arm | 88 erfolgreiche Versuche von 100 bei zehn Aufgaben mit jeweils einem Objekt | Leistung bei längeren, unvorhersehbaren Aufgaben |
Lagersimulation von Noble Machines | 6 erfolgreiche Versuche von 10 bei einer schwierigeren, unbekannten Aufgabe nach der Anpassung | Leistung am physischen Roboter von Noble Machines |
Das Experiment von Noble Machines liefert ein Beispiel für die Anpassungsfähigkeit des Modells. Runway berichtete, Praxis-1 mit nur 29 Minuten an Roboterdemonstrationen feinabgestimmt zu haben.
Nach etwa 3,6 Stunden Training auf 16 GPUs absolvierte das Modell alle 15 simulierten Versuche in vertrauten Umgebungen, war bei einer schwierigeren, zuvor unbekannten Lageraufgabe jedoch nur in sechs von zehn Versuchen erfolgreich.
Das Experiment zeigte, wie schnell Praxis-1 sich an ein neues Robotersystem anpassen konnte. Die berichteten Ergebnisse umfassten jedoch keine Tests am physischen Roboter von Noble Machines.
Auch der Rechenbedarf stellt ein Hindernis dar. Runways GitHub-Dokumentation zufolge ist für die Standardkonfiguration eine NVIDIA-GPU mit mindestens 80 GB Speicher erforderlich. Eine optionale Inferenz mit vier Bit senkt den Speicherbedarf des Modells, doch Runway warnte, dass die Leistung bei reduzierter Präzision zusätzlich validiert werden müsse.
Das Unternehmen räumte außerdem Schwierigkeiten mit ähnlich aussehenden Objekten, mehrdeutigen Anweisungen und Aufgaben ein, die mehrere Aktionen erfordern. Ein Roboter, der den falschen Gegenstand auswählt oder mit einer längeren Abfolge Probleme hat, könnte Abläufe unterbrechen, die auf gleichbleibender Leistung beruhen.
Zusammengenommen zeigen die Ergebnisse, dass Praxis-1 nützliche Roboteraufgaben ausführen und sich mit relativ wenigen Trainingsdaten an unterschiedliche Hardware anpassen kann. Die verfügbaren Tests belegen jedoch noch nicht, wie zuverlässig das Modell im kontinuierlichen kommerziellen Betrieb arbeiten würde.
Was Unternehmen vor dem Einsatz von Praxis-1 berücksichtigen sollten
Für Hersteller, Lagerbetreiber und Robotikentwickler könnte Praxis-1 einen weiteren Ansatz zur Automatisierung von Aufgaben bieten, bei denen Maschinen unterschiedliche Objekte erkennen und manipulieren müssen.
Ein Lagerbetreiber könnte beispielsweise testen, ob das Modell Produkte mit unterschiedlichen Formen, Verpackungen und Positionen ohne umfangreiche Neuprogrammierung handhaben kann. Die Kosten für die Anpassung des Modells und die Aufrechterhaltung einer zuverlässigen Leistung müssten jedoch rechtfertigen, bestehende Automatisierung zu ersetzen oder zu ergänzen.
Unternehmen, die Praxis-1 in Betracht ziehen, sollten vor einer Einsatzentscheidung drei Bereiche bewerten:
- Leistung unter realen Betriebsbedingungen: Testen Sie das Modell mit unbekannten Objekten, wechselnden Lichtverhältnissen und wiederholten Aufgaben. Messen Sie erfolgreiche Vorgänge, Fehlgriffe, die Erholungszeit und wie häufig Mitarbeiter eingreifen müssen.
- Infrastruktur- und Betriebskosten: Berücksichtigen Sie kompatible Roboterhardware, GPU-Ressourcen, die Feinabstimmung des Modells, die Softwareintegration und die Wartung. Die kommerzielle Lizenzierung erlaubt Entwicklern, das veröffentlichte Modell zu nutzen und zu verändern. Für den Betrieb sind jedoch weiterhin Rechenressourcen und technisches Fachwissen erforderlich.
- Sicherheit und menschliche Aufsicht: Legen Sie Verfahren für unerwartete Bewegungen, fehlgeschlagene Aufgaben und unklare Anweisungen fest. Testen Sie Not-Aus, Eingriffe durch Bediener und Wiederherstellungsverfahren, bevor Sie einen unbeaufsichtigten Betrieb in Betracht ziehen.
Unternehmen sollten Praxis-1 außerdem mit ihren bestehenden Robotersystemen vergleichen. Bei wiederholten Aufgaben unter vorhersehbaren Bedingungen kann herkömmliche Automatisierung weiterhin praktischer und kostengünstiger sein. KI-basierte Steuerung könnte mehr Flexibilität bieten, wenn sich Objekte, Anordnungen oder Aufgabenanforderungen häufig ändern.
Auch die von NVIDIA unterstützte GRID-Entwicklungsplattform für Robotik verdeutlicht, wie wichtig es ist, Roboter vor dem Einsatz durch Simulationen und physische Tests zu bewerten.
Runways Veröffentlichung erleichtert es Entwicklern, mit Praxis-1 zu experimentieren. Die größere Frage ist, ob Modelle, die durch Videos ein Verständnis für Bewegungen entwickeln, letztlich die für die Steuerung von Maschinen in alltäglichen Industrieumgebungen erforderliche Beständigkeit liefern können.
KI bewegt sich über Chatbots hinaus in die physische Welt. Möchten Sie Ihre eigenen KI-Kompetenzen aufbauen? Beginnen Sie mit dem kostenlosen sechseinminütigen Kurs der Neuron Academy: So sprechen Sie mit Ihrer KI und entdecken Sie weitere KI-Lektionen mit einer kostenlosen siebentägigen Testversion.


