Runway ouvre son modèle d’IA robotique Praxis-1 à l’usage commercial

Depuis des années, Runway apprend à l’IA à faire bouger des objets à l’écran. Elle veut maintenant voir si ces compétences peuvent aider des robots à déplacer des objets dans le monde réel. Hollywood, rencontre le sol de l’usine.

Le 11 novembre, l’entreprise a publié son modèle de robotique Praxis-1 pour un usage commercial, avec les poids du modèle, le code d’inférence et des outils de réglage fin sous licence Apache 2.0. Ce système de 27,2 milliards de paramètres combine la prédiction vidéo et la génération d’actions robotiques, offrant aux développeurs un moyen d’adapter ses capacités à différentes machines.

Pour les entreprises de robotique et les fabricants, la promesse est séduisante : des robots capables d’apprendre de nouvelles tâches avec moins de données d’entraînement propres à chaque matériel. Mais il y a un revers. Faire bonne impression avec un robot lors d’un test contrôlé est une chose. Lui faire tenir un service complet sur le sol de l’usine sans cafouiller en est une autre.

Runway rend Praxis-1 accessible au-delà de ses partenaires

Dans son annonce du 11 novembre, Runway a indiqué que les développeurs pouvaient obtenir Praxis-1 via Hugging Face, utiliser le dépôt GitHub, ou accéder à l’inférence hébergée via Reactor. La publication comprend du code pour le réglage fin complet ainsi que pour la méthode Low-Rank Adaptation (LoRA), moins gourmande en ressources.

Runway a présenté Praxis-1 en septembre et a travaillé avec Noble Machines, Standard Bots et Ultra sur différents systèmes robotiques, notamment un bras industriel, un robot d’entrepôt à deux bras et un humanoïde doté de jambes. 

La publication de novembre permet à d’autres développeurs de tester le modèle sur leur propre équipement, au lieu de limiter l’accès aux premiers partenaires.

Les options téléchargeables comprennent des checkpoints entraînés pour une configuration DROID à un bras et un robot YAM à deux bras, ainsi qu’un modèle de base à adapter. Le modèle de base ne peut pas utiliser immédiatement un nouveau robot : les notes d’implémentation de Runway indiquent qu’il lui manque les têtes d’action propres au robot nécessaires pour émettre des commandes. 

Les développeurs doivent ajouter et entraîner ces composants pour leur matériel.

Apache 2.0 autorise l’usage commercial des poids et des logiciels publiés par Runway, mais les composants Wan2.2 et Qwen3.5 qui les accompagnent disposent de licences distinctes que les développeurs doivent examiner.

Comment un modèle vidéo apprend à faire bouger un robot

Praxis-1 est un modèle mixture-of-experts de 27,2 milliards de paramètres qui s’appuie sur les recherches de Runway en génération vidéo. Au lieu d’apprendre uniquement à partir de personnes pilotant des robots à distance, il apprend d’abord comment les objets se déplacent et interagissent grâce à des vidéos ordinaires, puis combine ces connaissances avec des démonstrations robotiques durant l’entraînement.

Selon le rapport technique de Runway, le modèle reçoit une instruction, des images captées par les caméras et la position actuelle du robot. Il prédit à quoi la scène devrait ressembler ensuite et génère 1,6 seconde de mouvements, représentés par 24 actions à raison de 15 mises à jour par seconde. 

Le robot exécute ces mouvements, observe le résultat et recommence.

L’objectif est de réutiliser les connaissances visuelles sur différentes machines, tout en affinant les commandes pour les caméras et les articulations de chaque robot. Le modèle de Runway s’inscrit dans un mouvement plus large en faveur de l’ entraînement et de la simulation de l’IA physique. Contrairement au projet de robot humanoïde de référence de NVIDIA, Praxis-1 fournit un modèle de contrôle adaptable plutôt qu’une plateforme robotique standardisée.

Les tests de Praxis-1 montrent des progrès, mais aussi des limites

Runway a indiqué que Praxis-1 avait réussi 555 essais simulés sur 1 200 dans le benchmark RoboLab-120 de NVIDIA, soit un taux de réussite de 46,2 % sur 120 tâches de manipulation sur table. Dans sa comparaison, FLUX 3 Action a atteint 42,9 %, Cosmos3 Nano 36,8 % et pi0.5 28,0 %.

Ces chiffres ne font pas de Praxis-1 le système le mieux classé dans l’ensemble des catégories. Le classement public de NVIDIA répertorie certains modèles agentiques et fermés au-dessus de 46,2 %. Il n’affichait par ailleurs aucune entrée Praxis-1 lors de sa consultation le 13 novembre ; le score publié du modèle et le rang revendiqué restent donc attribués à Runway, sans confirmation indépendante dans le présent article.

Des données issues de robots physiques existent également. Runway affirme que Praxis-1 a réussi 88 essais sur 100 dans dix tâches portant sur un seul objet avec un robot Franka FR3, contre 80 sur 100 pour FLUX 3 Action dans les mêmes conditions de test. L’entreprise a mené ces essais le 2 novembre ; leur portée est bien plus limitée que la variété des tâches auxquelles un robot commercial pourrait être confronté.

Ce qu’a constaté eWeek : Praxis-1 est prometteur, mais sa fiabilité dans le monde réel reste à démontrer

Le rapport technique de Runway présente des résultats encourageants, même si les tests couvrent des environnements et des niveaux de complexité différents. Leur comparaison montre quelle part des performances de Praxis-1 a été démontrée sur des robots physiques et quelle part reste confinée à la simulation.

L’expérience de Noble Machines illustre la capacité d’adaptation du modèle. Runway a indiqué avoir affiné Praxis-1 à partir de seulement 29 minutes de démonstrations réalisées avec le robot. 

Après environ 3,6 heures d’entraînement sur 16 GPU, il a réussi les 15 essais simulés dans des configurations familières, mais seulement six des dix essais impliquant une tâche d’entrepôt plus difficile et jamais vue auparavant.

L’expérience a montré à quelle vitesse Praxis-1 pouvait s’adapter à un nouveau système robotique, même si les résultats rapportés ne comprenaient pas de test sur le robot physique de Noble Machines.

Les besoins en calcul constituent un autre obstacle. La documentation GitHub de Runway précise qu’une carte graphique NVIDIA dotée d’au moins 80 Go de mémoire est nécessaire pour la configuration par défaut. L’inférence optionnelle sur quatre bits réduit les besoins en mémoire du modèle, mais Runway avertit que les performances avec une précision réduite nécessitent une validation supplémentaire.

L’entreprise a également reconnu des difficultés avec les objets d’apparence similaire, les instructions ambiguës et les tâches nécessitant plusieurs actions. Un robot qui sélectionne le mauvais article ou peine à exécuter une séquence plus longue pourrait interrompre des opérations dépendant de performances constantes.

Pris dans leur ensemble, les résultats montrent que Praxis-1 peut accomplir des tâches robotiques utiles et s’adapter à différents matériels avec relativement peu de données d’entraînement. Toutefois, les tests disponibles ne permettent pas encore d’établir avec quelle fiabilité le modèle fonctionnerait pendant des opérations commerciales continues.

Ce que les entreprises doivent prendre en compte avant de déployer Praxis-1

Pour les fabricants, les exploitants d’entrepôts et les développeurs de solutions robotiques, Praxis-1 pourrait offrir une autre approche pour automatiser des tâches nécessitant que des machines reconnaissent et manipulent différents objets.

Un exploitant d’entrepôt pourrait par exemple vérifier si le modèle sait gérer des produits de formes, d’emballages et de positions variés sans reprogrammation poussée. Toutefois, le coût d’adaptation du modèle et du maintien de performances fiables devrait justifier le remplacement ou le renforcement de l’automatisation existante.

Les entreprises qui envisagent Praxis-1 devraient évaluer trois aspects avant de s’engager dans son déploiement :

• Performances dans les conditions réelles d’exploitation : Testez le modèle avec des objets inconnus, un éclairage variable et des tâches répétées. Mesurez les opérations réussies, les erreurs de sélection, le temps de récupération et la fréquence à laquelle les employés doivent intervenir.
• Infrastructure et coûts d’exploitation : Tenez compte du matériel robotique compatible, des ressources GPU, du réglage fin du modèle, de l’intégration logicielle et de la maintenance. La licence commerciale permet aux développeurs d’utiliser et de modifier le modèle publié, mais son exécution nécessite toujours des ressources de calcul et une expertise technique.
• Sécurité et supervision humaine : Établissez des procédures pour les mouvements inattendus, les tâches échouées et les instructions ambiguës. Testez les arrêts d’urgence, l’intervention de l’opérateur et les procédures de reprise avant d’envisager un fonctionnement sans surveillance.

Les entreprises devraient également comparer Praxis-1 à leurs systèmes robotiques existants. Pour les tâches répétitives dans des conditions prévisibles, l’automatisation conventionnelle peut rester plus pratique et plus économique. Le contrôle fondé sur l’IA pourrait offrir davantage de souplesse lorsque les objets, les configurations ou les exigences des tâches changent fréquemment.

La plateforme de développement robotique GRID soutenue par NVIDIA illustre également l’importance d’évaluer les robots par la simulation et des tests physiques avant leur déploiement.

La publication de Runway permet aux développeurs d’expérimenter plus facilement avec Praxis-1. La question centrale est de savoir si des modèles entraînés à comprendre les mouvements grâce à des vidéos pourront un jour offrir la constance nécessaire pour contrôler des machines dans les environnements industriels du quotidien.

Commencez par le cours gratuit de six minutes de The Neuron Academy : Comment parler à votre IA, puis découvrez d’autres leçons d’IA avec sept jours d’accès gratuit.