Le nouveau système d’IA Dreamer, développé par l’équipe DeepMind de Google, a réussi à apprendre à extraire des diamants dans Minecraft — sans recevoir la moindre instruction directe sur la manière de jouer. Extraire des diamants est une tâche complexe en plusieurs phases que le modèle d’IA a maîtrisée par tâtonnements, grâce à une méthode appelée apprentissage par renforcement. Son développeur décrit cette avancée majeure comme une étape importante vers la création de systèmes d’IA capables de transférer leurs connaissances d’un domaine à un autre.
Pourquoi entraîner un modèle d’IA sur Minecraft ?
Dans Minecraft, les joueurs explorent un monde virtuel en 3D qui comprend de nombreux environnements différents, comme des déserts, des marais, des montagnes et des forêts. Ils y collectent des ressources, puis les transforment en objets tels que des coffres et des épées. Ils récupèrent également des objets, les diamants comptant parmi les plus convoités du jeu.
Chaque fois que quelqu’un joue à Minecraft, le jeu génère aléatoirement un nouveau monde : deux parties ne sont donc jamais exactement identiques. Cela en fait un excellent choix lorsque les chercheurs souhaitent entraîner un système d’IA à généraliser ses connaissances entre différents scénarios.
Extraire des diamants est une « tâche très difficile » à apprendre pour une IA
Plusieurs chercheurs en IA se sont particulièrement intéressés à la recherche de diamants dans Minecraft, car il s’agit d’un processus complexe en plusieurs étapes. Dans un premier temps, les joueurs doivent rassembler des ressources pour fabriquer les outils nécessaires, comme une pioche et une table de fabrication. Ils doivent ensuite creuser jusqu’à atteindre une profondeur suffisante, puis chercher des diamants en creusant des galeries. Ils doivent également éviter des obstacles comme les brûlures causées par la lave et les chutes dans des cavernes.
La collecte de diamants est une « tâche très difficile » pour l’intelligence artificielle, selon Jeff Clune, informaticien à l’Université de la Colombie-Britannique, à Vancouver, au Canada. « Il ne fait aucun doute que ce [système d’IA Dreamer] représente une avancée majeure pour le domaine », a déclaré Clune à la publication scientifique Nature.
Le système Dreamer utilise l’apprentissage par renforcement pour obtenir des résultats
L’équipe Dreamer a utilisé une technique d’apprentissage automatique appelée « apprentissage par renforcement ». Le modèle d’IA explore le jeu de manière autonome et détermine quelles actions ont le plus de chances de produire des récompenses dans le jeu, comme l’extraction de diamants. Le modèle répète ensuite ces actions tout en évitant celles qui ont moins de chances de rapporter des récompenses.
Les chercheurs réinitialisaient le jeu toutes les demi-heures afin que le système Dreamer ne devienne pas trop spécialisé dans un environnement particulier. Il faut environ neuf jours de jeu continu au modèle pour trouver un diamant. Même si cela représente beaucoup plus de temps qu’il n’en faut à un joueur humain — les experts peuvent généralement trouver un diamant en 20 à 30 minutes —, les chercheurs estiment que cela constitue tout de même une avancée majeure pour les modèles d’IA.
« C’est un problème réputé extrêmement difficile et les résultats sont fantastiques », a déclaré Keyon Vafa, informaticien à l’Université Harvard, à Boston, dans le Massachusetts.