Depuis des années, Runway apprend à l’IA à faire bouger des éléments à l’écran. L’entreprise veut maintenant vérifier si ces compétences peuvent aider des robots à déplacer des objets dans le monde réel. Hollywood, voici l’atelier d’usine.
Le 11 novembre, l’entreprise a rendu son modèle de robotique Praxis-1 disponible pour un usage commercial, avec les poids du modèle, le code d’inférence et des outils d’affinage sous licence Apache 2.0. Ce système de 27,2 milliards de paramètres associe prédiction vidéo et génération d’actions robotiques, permettant aux développeurs d’adapter ses capacités à différentes machines.
Pour les entreprises de robotique et les fabricants, la promesse est séduisante : des robots capables d’apprendre de nouvelles tâches avec moins de données d’entraînement propres au matériel. Mais il y a un hic. Faire bonne impression lors d’un test contrôlé est une chose. Lui faire tenir tout un poste sur le sol de l’usine sans qu’il cafouille en est une autre.
- Runway ouvre Praxis-1 au-delà de ses partenaires
- Comment un modèle vidéo apprend à faire bouger un robot
- Les tests de Praxis-1 montrent des progrès, mais aussi des limites
- Ce qu’a constaté eWeek : Praxis-1 est prometteur, mais sa fiabilité dans le monde réel reste à démontrer
- Ce que les entreprises doivent prendre en compte avant de déployer Praxis-1
Runway ouvre Praxis-1 au-delà de ses partenaires
Dans son annonce du 11 novembre, Runway a indiqué que les développeurs pouvaient obtenir Praxis-1 via Hugging Face, utiliser le dépôt GitHub ou accéder à l’inférence hébergée par l’intermédiaire de Reactor. La publication comprend du code pour l’affinage complet ainsi que pour la méthode Low-Rank Adaptation (LoRA), moins gourmande en ressources.
Runway a présenté Praxis-1 en septembre et a collaboré avec Noble Machines, Standard Bots et Ultra sur différents systèmes robotiques, notamment un bras industriel, un robot d’entrepôt à deux bras et un humanoïde doté de jambes.
La publication de novembre permet à d’autres développeurs de tester le modèle sur leur propre équipement, au lieu de limiter l’accès aux partenaires initiaux.
Les options téléchargeables comprennent des checkpoints entraînés pour une configuration DROID à un seul bras et un robot YAM à deux bras, ainsi qu’un modèle de base à adapter. Le modèle de base ne peut pas piloter immédiatement un nouveau robot : les notes d’implémentation de Runway indiquent qu’il lui manque les têtes d’action propres au robot nécessaires pour émettre des commandes.
Les développeurs doivent ajouter et entraîner ces composants pour leur matériel.
La licence Apache 2.0 autorise l’usage commercial des poids et logiciels publiés par Runway, mais les composants Wan2.2 et Qwen3.5 qui les accompagnent disposent de licences distinctes que les développeurs doivent examiner.
Comment un modèle vidéo apprend à faire bouger un robot
Praxis-1 est un modèle à mélange d’experts de 27,2 milliards de paramètres qui s’appuie sur les recherches de Runway en génération vidéo. Plutôt que d’apprendre uniquement à partir de personnes pilotant des robots à distance, il apprend d’abord comment les objets se déplacent et interagissent à partir de vidéos ordinaires, puis associe ces connaissances à des démonstrations robotiques pendant son entraînement.
Selon le rapport technique de Runway, le modèle reçoit une instruction, des images captées par les caméras et la position actuelle du robot. Il prédit à quoi la scène devrait ressembler ensuite et génère 1,6 seconde de mouvements, représentés par 24 actions à raison de 15 mises à jour par seconde.
Le robot exécute ces mouvements, observe le résultat, puis recommence.
L’objectif est de réutiliser les connaissances visuelles sur différentes machines, tout en affinant les commandes pour les caméras et les articulations de chaque robot. Le modèle de Runway s’inscrit dans un mouvement plus large en faveur de l’ entraînement et de la simulation de l’IA physique. Contrairement au projet de robot humanoïde de référence soutenu par NVIDIA, Praxis-1 fournit un modèle de contrôle adaptable plutôt qu’une plateforme robotique standardisée.
Les tests de Praxis-1 montrent des progrès, mais aussi des limites
Runway a indiqué que Praxis-1 avait réussi 555 des 1 200 essais simulés du benchmark RoboLab-120 de NVIDIA, soit un taux de réussite de 46,2 % sur 120 tâches de table. Dans sa comparaison, FLUX 3 Action a atteint 42,9 %, Cosmos3 Nano 36,8 % et pi0.5 28,0 %.
Ces chiffres ne font pas de Praxis-1 le système globalement le mieux classé dans toutes les catégories. Le classement public de NVIDIA recense certains modèles agentiques et fermés au-dessus de 46,2 %. Il n’affichait pas non plus d’entrée Praxis-1 lors de sa consultation le 13 novembre ; le score publié du modèle et le classement revendiqué restent donc attribués à Runway plutôt que confirmés indépendamment ici.
Les robots physiques fournissent également des éléments. Runway a indiqué que Praxis-1 avait réussi 88 essais sur 100 dans dix tâches portant sur un seul objet avec un robot Franka FR3, contre 80 sur 100 pour FLUX 3 Action dans le même dispositif de test. L’entreprise a mené ces essais le 2 novembre ; leur portée est bien plus limitée que la diversité des tâches auxquelles un robot commercial pourrait être confronté.
Ce qu’a constaté eWeek : Praxis-1 est prometteur, mais sa fiabilité dans le monde réel reste à démontrer
Le rapport technique de Runway présente des résultats encourageants, même si les tests couvrent des environnements et des niveaux de complexité différents. Leur comparaison montre quelle part des performances de Praxis-1 a été démontrée sur des robots physiques et quelle part reste confinée à la simulation.
Évaluation | Résultat de Praxis-1 | Ce qui reste à démontrer |
|---|---|---|
Simulation RoboLab-120 | 46,2 % de réussite sur 1 200 essais | Fiabilité dans un entrepôt ou une usine en activité |
Bras physique Franka | 88 essais réussis sur 100 dans dix tâches portant sur un seul objet | Performances sur des tâches plus longues et imprévisibles |
Simulation d’entrepôt de Noble Machines | 6 essais réussis sur 10 dans une tâche plus difficile et inconnue après adaptation | Performances sur le robot physique de Noble Machines |
L’expérience de Noble Machines offre un exemple de l’adaptabilité du modèle. Runway a indiqué avoir affiné Praxis-1 à l’aide de seulement 29 minutes de démonstrations robotiques.
Après environ 3,6 heures d’entraînement sur 16 GPU, il a réussi les 15 essais simulés dans des configurations familières, mais n’a réussi que six essais sur dix impliquant une tâche d’entrepôt plus difficile et jamais rencontrée auparavant.
L’expérience a montré à quelle vitesse Praxis-1 pouvait s’adapter à un nouveau système robotique, même si les résultats communiqués ne comprenaient pas de tests sur le robot physique de Noble Machines.
Les besoins en calcul constituent un autre obstacle. La documentation GitHub de Runway spécifie un GPU NVIDIA doté d’au moins 80 Go de mémoire pour la configuration par défaut. L’inférence facultative en quatre bits réduit les besoins en mémoire du modèle, mais Runway a averti que les performances en précision réduite nécessitaient une validation supplémentaire.
L’entreprise a également reconnu des difficultés avec les objets d’apparence similaire, les instructions ambiguës et les tâches nécessitant plusieurs actions. Un robot qui sélectionne le mauvais article ou peine à exécuter une séquence plus longue pourrait interrompre des opérations qui dépendent de performances constantes.
Pris ensemble, ces résultats montrent que Praxis-1 peut accomplir des tâches robotiques utiles et s’adapter à différents matériels avec relativement peu de données d’entraînement. Cependant, les tests disponibles ne permettent pas encore d’établir avec quelle fiabilité le modèle fonctionnerait dans le cadre d’opérations commerciales continues.
Ce que les entreprises doivent prendre en compte avant de déployer Praxis-1
Pour les fabricants, les exploitants d’entrepôts et les développeurs de solutions robotiques, Praxis-1 pourrait offrir une autre approche pour automatiser les tâches qui exigent des machines qu’elles reconnaissent et manipulent différents objets.
Un exploitant d’entrepôt pourrait, par exemple, vérifier si le modèle sait traiter des produits de formes, d’emballages et de positions variés sans reprogrammation poussée. Toutefois, le coût d’adaptation du modèle et de maintien de performances fiables devrait justifier le remplacement ou le complément de l’automatisation existante.
Les entreprises qui envisagent Praxis-1 devraient évaluer trois domaines avant de s’engager dans son déploiement :
- Performances dans les conditions réelles d’exploitation : Testez le modèle avec des objets inconnus, un éclairage variable et des tâches répétées. Mesurez les opérations réussies, les erreurs de préhension, le temps de récupération et la fréquence à laquelle les employés doivent intervenir.
- Infrastructure et coûts d’exploitation : Tenez compte du matériel robotique compatible, des ressources GPU, de l’affinage du modèle, de l’intégration logicielle et de la maintenance. La licence commerciale permet aux développeurs d’utiliser et de modifier le modèle publié, mais son fonctionnement nécessite toujours des ressources de calcul et une expertise technique.
- Sécurité et supervision humaine : Établissez des procédures pour les mouvements inattendus, les tâches échouées et les instructions peu claires. Testez les arrêts d’urgence, l’intervention de l’opérateur et les procédures de récupération avant d’envisager un fonctionnement sans surveillance.
Les entreprises devraient également comparer Praxis-1 à leurs systèmes robotiques existants. Pour les tâches répétitives dans des conditions prévisibles, l’automatisation conventionnelle peut rester plus pratique et plus économique. Le contrôle fondé sur l’IA pourrait offrir davantage de flexibilité lorsque les objets, les configurations ou les exigences des tâches changent fréquemment.
La plateforme de développement robotique GRID soutenue par NVIDIA illustre également l’importance d’évaluer les robots par simulation et au moyen de tests physiques avant leur déploiement.
La publication de Runway permet aux développeurs d’expérimenter plus facilement avec Praxis-1. La question centrale est de savoir si les modèles entraînés à comprendre le mouvement grâce aux vidéos pourront un jour offrir la régularité nécessaire pour contrôler des machines dans les environnements industriels du quotidien.
L’IA dépasse les chatbots et entre dans le monde physique. Vous voulez développer vos compétences en IA ? Commencez par le cours How to Talk to Your AI gratuit de six minutes de The Neuron Academy, puis découvrez d’autres leçons sur l’IA grâce à un essai gratuit de sept jours.


