Alors, vous voyez comment, toi et moi, on peut à peu près regarder quelqu’un faire quelque chose une fois et au moins essayer de le faire, même si on est franchement mauvais ? Eh bien, maintenant, les robots aussi peuvent le faire !
Hier, Rich Sutton soutenait que la prochaine avancée de l’IA ne viendra pas de modèles gavés de données produites par des humains. Elle viendra d’agents qui continuent d’apprendre du monde dans lequel ils évoluent réellement. Moins de 24 heures plus tard, Generalist a dévoilé GEN-1.5, un modèle robotique qui rend cette idée beaucoup moins théorique.
Voici ce qui s’est passé
GEN-1.5 peut observer une seule démonstration physique de 3 à 12 secondes et tenter immédiatement d’accomplir la nouvelle tâche. Generalist parle de « prompting physique » : la démonstration tient dans la fenêtre de contexte de 30 secondes du robot, sans aucune mise à jour des gradients.
- Sur 10 tâches simples, une seule démonstration a permis d’atteindre un taux de réussite moyen de 59 % ; 10 mises à jour des poids sur cinq minutes de données ont porté ce taux à 83 %.
- Il peut reproduire certaines démonstrations réalisées avec une main humaine, utiliser des démonstrations simulées sur un robot réel, combiner deux prompts physiques et improviser avec des outils qu’il n’a jamais vus.
- L’adaptation de robots nécessitait auparavant des dizaines de milliers d’étapes de descente de gradient. Generalist affirme que 10 étapes ont modifié les poids de GEN-1.5 de moins de 0,15 %.
Notre analyse
Cela compte pour deux raisons. Premièrement, l’interface passe de la programmation d’un robot au fait de lui montrer quoi faire. Deuxièmement, cela commence à concrétiser la thèse du « Big World » de Sutton : le monde est bien plus vaste que n’importe quel jeu de données d’entraînement statique, si bien qu’une intelligence utile doit continuer d’apprendre de tout ce qu’elle rencontre.
Il y a une distinction importante à laquelle Sutton accorderait de l’importance : l’astuce d’apprentissage en une seule démonstration de GEN-1.5 relève de l’apprentissage en contexte, et non de l’apprentissage persistant. Ses poids ne changent pas. Le mode few-shot, dans lequel GEN-1.5 met à jour ses poids en 1 à 10 étapes, est en réalité plus proche de la vision de Sutton d’un apprentissage continu.
Le chiffre important n’est peut-être pas 59 %. C’est peut-être la quantité de nouvelles expériences nécessaire pour y parvenir.
Après huit mois de préentraînement physique généraliste, Generalist affirme que GEN-1.5 peut transformer quelques secondes de démonstration seulement en un comportement utile. L’entreprise décrit cette adaptation comme ressemblant moins au fait d’enseigner quelque chose de totalement nouveau à un robot qu’à lui rappeler quelque chose qu’il connaît presque déjà.
Le véritable test viendra ensuite. Si des systèmes comme GEN-1.5 peuvent rendre persistantes ces compétences nouvellement acquises, les développer au fil du temps et éviter d’oublier ce qu’ils savent déjà, la vision de Sutton de machines qui apprennent en permanence du monde qui les entoure commencera à paraître nettement moins théorique.
Note de la rédaction : cet article a été publié à l’origine dans notre publication sœur, The Neuron.