Runway gibt das Roboter-KI-Modell Praxis-1 für die kommerzielle Nutzung frei

Runway bringt seit Jahren KIs bei, Dinge auf dem Bildschirm in Bewegung zu setzen. Nun will das Unternehmen herausfinden, ob diese Fähigkeiten Robotern helfen können, Dinge in der realen Welt zu bewegen. Hollywood, lernen Sie die Fabrikhalle kennen.

Am 11. November veröffentlichte das Unternehmen sein Robotikmodell Praxis-1 für die kommerzielle Nutzung – einschließlich Modellgewichten, Inferenzcode und Werkzeugen zur Feinabstimmung unter der Apache-2.0-Lizenz. Das System mit 27,2 Milliarden Parametern kombiniert Videovorhersage mit der Generierung von Roboteraktionen und bietet Entwicklern eine Möglichkeit, seine Fähigkeiten an unterschiedliche Maschinen anzupassen.

Für Robotikunternehmen und Hersteller ist das Versprechen verlockend: Roboter, die neue Aufgaben mit weniger hardwarespezifischen Trainingsdaten erlernen können. Doch es gibt einen Haken. Einen Roboter in einem kontrollierten Test beeindruckend aussehen zu lassen, ist eine Sache. Ihn eine komplette Schicht in der Fabrikhalle überstehen zu lassen, ohne dass er die Aufgabe vermasselt, eine andere.

Runway macht Praxis-1 über seine Partner hinaus zugänglich

In seiner Ankündigung vom 11. November sagte Runway, Entwickler könnten Praxis-1 über Hugging Face beziehen, das GitHub-Repository nutzen oder gehostete Inferenz über Reactor abrufen. Die Veröffentlichung umfasst Code für die vollständige Feinabstimmung sowie für die weniger ressourcenintensive Methode Low-Rank Adaptation (LoRA).

Runway stellte Praxis-1 im September vor und arbeitete mit Noble Machines, Standard Bots und Ultra an verschiedenen Robotersystemen, darunter einem Industrieroboterarm, einem zweiaarmigen Lagerroboter und einem zweibeinigen humanoiden Roboter. 

Die Veröffentlichung im November ermöglicht es anderen Entwicklern, das Modell auf ihrer eigenen Ausrüstung zu testen, anstatt den Zugang auf die ursprünglichen Partner zu beschränken.

Zu den Download-Optionen gehören Checkpoints, die für ein einarmiges DROID-Setup und einen zweiarmigen YAM-Roboter trainiert wurden, sowie ein Basismodell zur Anpassung. Das Basismodell kann einen neuen Roboter nicht sofort bedienen: Runways Implementierungshinweise zufolge fehlen ihm die roboter­spezifischen Aktionsköpfe, die zum Erteilen von Befehlen erforderlich sind. 

Entwickler müssen diese Komponenten für ihre Hardware ergänzen und trainieren.

Apache 2.0 erlaubt die kommerzielle Nutzung der von Runway veröffentlichten Gewichte und Software, doch die unterstützenden Komponenten Wan2.2 und Qwen3.5 unterliegen separaten Lizenzen, die Entwickler prüfen müssen.

Wie ein Videomodell lernt, einen Roboter zu bewegen

Praxis-1 ist ein Mixture-of-Experts-Modell mit 27,2 Milliarden Parametern, das auf Runways Forschung zur Videogenerierung aufbaut. Statt ausschließlich durch Menschen zu lernen, die Roboter aus der Ferne bedienen, lernt es zunächst anhand gewöhnlicher Videos, wie sich Objekte bewegen und miteinander interagieren, und kombiniert dieses Wissen dann während des Trainings mit Roboterdemonstrationen.

Laut Runways technischem Bericht erhält das Modell eine Anweisung, Kamerabilder und die aktuelle Position des Roboters. Es sagt voraus, wie die Szene als Nächstes aussehen sollte, und erzeugt 1,6 Sekunden an Bewegungen, die durch 24 Aktionen bei 15 Aktualisierungen pro Sekunde dargestellt werden. 

Der Roboter führt diese Bewegungen aus, beobachtet das Ergebnis und wiederholt den Vorgang.

Ziel ist es, visuelles Wissen über verschiedene Maschinen hinweg wiederzuverwenden und gleichzeitig die Steuerung für die Kameras und Gelenke jedes Roboters feinabzustimmen. Runways Modell ist Teil eines umfassenderen Vorstoßes in das Training und die Simulation physischer KI. Anders als das von NVIDIA unterstützte Referenzprojekt für humanoide Roboter liefert Praxis-1 ein anpassbares Steuerungsmodell statt einer standardisierten Roboterplattform.

Die Tests von Praxis-1 zeigen Fortschritte – aber auch Grenzen

Runway berichtete, dass Praxis-1 bei NVIDIAs RoboLab-120-Benchmark 555 von 1.200 simulierten Versuchen abschloss, was einer Erfolgsquote von 46,2 % bei 120 Aufgaben auf einer Tischfläche entspricht. In Runways Vergleich erreichte FLUX 3 Action 42,9 %, Cosmos3 Nano 36,8 % und pi0.5 28,0 %.

Diese Zahlen machen Praxis-1 nicht in jeder Kategorie zum insgesamt bestplatzierten System. NVIDIAs öffentliche Bestenliste führt einige agentenbasierte und geschlossene Modelle mit mehr als 46,2 % auf. Bei einer Überprüfung am 13. November wurde dort außerdem kein Eintrag für Praxis-1 angezeigt. Daher bleiben die veröffentlichte Punktzahl und die behauptete Platzierung des Modells Runway zugeschrieben und sind hier nicht unabhängig bestätigt.

Auch für physische Roboter gibt es Belege. Runway zufolge absolvierte Praxis-1 mit einem Franka-FR3-Roboter 88 von 100 Versuchen bei zehn Aufgaben mit jeweils einem Gegenstand, verglichen mit 80 von 100 für FLUX 3 Action unter demselben Testaufbau. Das Unternehmen führte diese Versuche am 2. November durch; ihr Umfang ist deutlich begrenzter als die vielfältigen Aufgaben, denen ein kommerzieller Roboter ausgesetzt sein könnte.

Was eWeek herausgefunden hat: Praxis-1 ist vielversprechend, doch die Zuverlässigkeit in der realen Welt ist noch nicht erwiesen

Runways technischer Bericht präsentiert ermutigende Ergebnisse, auch wenn die Tests unterschiedliche Umgebungen und Komplexitätsstufen abdecken. Ein Vergleich zeigt, wie viel von Praxis-1s Leistung bereits an physischen Robotern demonstriert wurde und wie viel weiterhin auf die Simulation beschränkt ist.

Das Experiment von Noble Machines liefert ein Beispiel für die Anpassungsfähigkeit des Modells. Runway berichtete, Praxis-1 mit nur 29 Minuten an Roboterdemonstrationen feinabgestimmt zu haben. 

Nach etwa 3,6 Stunden Training auf 16 GPUs absolvierte das Modell alle 15 simulierten Versuche in bekannten Umgebungen, war bei einer schwierigeren, zuvor unbekannten Lageraufgabe jedoch nur in sechs von zehn Versuchen erfolgreich.

Das Experiment zeigte, wie schnell Praxis-1 sich an ein neues Robotersystem anpassen konnte. Die berichteten Ergebnisse umfassten allerdings keine Tests am physischen Roboter von Noble Machines.

Auch der Rechenbedarf stellt ein weiteres Hindernis dar. Runways GitHub-Dokumentation zufolge ist für die Standardeinrichtung eine NVIDIA-GPU mit mindestens 80 GB Speicher erforderlich. Eine optionale Inferenz mit vier Bit reduziert den Speicherbedarf des Modells, doch Runway warnte, dass die Leistung bei verringerter Präzision zusätzlich validiert werden müsse.

Das Unternehmen räumte außerdem Schwierigkeiten mit ähnlich aussehenden Objekten, mehrdeutigen Anweisungen und Aufgaben ein, die mehrere Aktionen erfordern. Ein Roboter, der den falschen Gegenstand auswählt oder mit einer längeren Sequenz kämpft, könnte Abläufe unterbrechen, die auf gleichbleibender Leistung beruhen.

Zusammengenommen zeigen die Ergebnisse, dass Praxis-1 nützliche Roboteraufgaben ausführen und sich mit relativ wenigen Trainingsdaten an unterschiedliche Hardware anpassen kann. Die verfügbaren Tests belegen jedoch noch nicht, wie zuverlässig das Modell im kontinuierlichen kommerziellen Betrieb arbeiten würde.

Was Unternehmen vor der Einführung von Praxis-1 beachten sollten

Für Hersteller, Lagerbetreiber und Robotikentwickler könnte Praxis-1 einen weiteren Ansatz zur Automatisierung von Aufgaben bieten, bei denen Maschinen unterschiedliche Objekte erkennen und manipulieren müssen.

Ein Lagerbetreiber könnte beispielsweise testen, ob das Modell Produkte mit unterschiedlichen Formen, Verpackungen und Positionen ohne umfangreiche Neuprogrammierung handhaben kann. Die Kosten für die Anpassung des Modells und die Aufrechterhaltung einer zuverlässigen Leistung müssten jedoch rechtfertigen, dass bestehende Automatisierung ersetzt oder ergänzt wird.

Unternehmen, die Praxis-1 in Betracht ziehen, sollten vor einer Einsatzentscheidung drei Bereiche bewerten:

• Leistung unter realen Betriebsbedingungen: Testen Sie das Modell mit unbekannten Objekten, wechselnden Lichtverhältnissen und wiederholten Aufgaben. Messen Sie erfolgreiche Vorgänge, Fehlgriffe, die Erholungszeit und wie oft Mitarbeiter eingreifen müssen.
• Infrastruktur- und Betriebskosten: Berücksichtigen Sie kompatible Roboterhardware, GPU-Ressourcen, die Feinabstimmung des Modells, die Softwareintegration und die Wartung. Die kommerzielle Lizenzierung erlaubt Entwicklern, das veröffentlichte Modell zu nutzen und zu verändern. Für den Betrieb sind jedoch weiterhin Rechenressourcen und technisches Fachwissen erforderlich.
• Sicherheit und menschliche Überwachung: Legen Sie Verfahren für unerwartete Bewegungen, fehlgeschlagene Aufgaben und unklare Anweisungen fest. Testen Sie Not-Aus, Bedienereingriffe und Wiederherstellungsverfahren, bevor Sie einen unbeaufsichtigten Betrieb in Betracht ziehen.

Unternehmen sollten Praxis-1 außerdem mit ihren bestehenden Robotersystemen vergleichen. Für repetitive Aufgaben unter vorhersehbaren Bedingungen könnte herkömmliche Automatisierung weiterhin praktischer und kostengünstiger sein. KI-basierte Steuerung könnte mehr Flexibilität bieten, wenn sich Objekte, Anordnungen oder Aufgabenanforderungen häufig ändern.

Auch die von NVIDIA unterstützte GRID-Entwicklungsplattform für Robotik verdeutlicht, wie wichtig es ist, Roboter vor dem Einsatz durch Simulationen und physische Tests zu evaluieren.

Runways Veröffentlichung erleichtert es Entwicklern, mit Praxis-1 zu experimentieren. Die größere Frage ist, ob Modelle, die anhand von Videos lernen, Bewegungen zu verstehen, letztlich die für die Steuerung von Maschinen im alltäglichen industriellen Umfeld erforderliche Beständigkeit liefern können.

KI verlässt die Welt der Chatbots und zieht in die physische Welt ein. Möchten Sie Ihre eigenen KI-Fähigkeiten aufbauen? Beginnen Sie mit dem kostenlosen sechminütigen Kurs „So sprechen Sie mit Ihrer KI“ und erkunden Sie weitere KI-Lektionen mit sieben Tagen kostenlosem Zugang.