Vous voyez ces moments où vous téléchargez une nouvelle application, la manipulez pendant deux minutes et comprenez tout simplement comment elle fonctionne ? Pas de tutoriel, pas d’instructions ?
Il s’avère que l’IA ne sait pas faire ça. Pas du tout.
La ARC Prize Foundation vient de lancer ARC-AGI-3, un nouveau benchmark (un test standardisé pour l’IA) conçu pour mesurer si l’IA peut apprendre de nouvelles choses à la volée, comme le font les humains. Au lieu de répondre à des questions de culture générale ou d’écrire du code, les agents d’IA explorent des environnements interactifs inconnus et résolvent des énigmes qu’ils n’ont encore jamais vues.
L’« AGI » (qui signifie « intelligence artificielle générale ») est la ligne d’arrivée vers laquelle courent toutes les grandes entreprises de l’IA : une IA capable de gérer n’importe quelle nouvelle tâche sans entraînement spécifique.
L’AGI est un objectif majeur. OpenAI vient de rebaptiser sa division produit « AGI Deployment ». Jensen Huang a déclaré que l’AGI était « déjà dans la pièce ». Le prochain modèle d’OpenAI, dont le nom de code est « Spud », pourrait être le premier qu’elle présenterait comme une AGI. ARC-AGI-3 est justement censé mettre ces affirmations à l’épreuve.
Voici ce qui s’est passé après son lancement
- Chaque modèle de pointe a obtenu moins de 1 %. Gemini 3.1 Pro : 0,37 %. GPT-5.4 : 0,26 %. Claude Opus 4.6 : 0,25 %. Grok 4.2 : 0 %.
- 100 % des testeurs humains ont résolu chaque environnement dès leur premier essai. Sans instructions ni entraînement.
- Le benchmark teste 135 environnements inédits (environ 1 000 niveaux) et mesure l’efficacité avec laquelle l’IA les résout par rapport aux humains.
- Un concours doté de 2 millions de dollars est ouvert sur Kaggle, et vous pouvez jouer vous-même aux jeux accessibles au public.
Pourquoi c’est important : tout le monde ne s’accorde pas à dire que le test est équitable.
La notation applique une pénalité d’efficacité au carré (si un humain met 10 étapes et que l’IA en met 100, l’IA obtient 1 %). L’IA ne peut pas dépasser le score des humains, même lorsqu’elle est plus efficace, mais les humains obtiennent bien des points bonus lorsqu’ils sont plus efficaces que l’IA. Les modèles à raisonnement prolongé ont été exclus. Le critique @scaling01 a estimé que la méthodologie avait été conçue pour produire de faibles scores.
Le fondateur d’ARC François Chollet a répliqué avec un argument plus profond : les modèles actuels ne sont performants que lorsque les humains construisent autour d’eux une infrastructure élaborée (prompts spécifiques, systèmes d’exécution personnalisés, astuces de raisonnement). Cette infrastructure, c’est l’intelligence humaine ; le modèle ne fait qu’exécuter. S’il s’agit véritablement d’une AGI, aucun humain ne devrait intervenir dans la boucle.
Remarquez quelque chose d’intéressant ? Nous ne débattons plus de si l’IA est intelligente. Nous débattons de la manière de mesurer l’intelligence.
Notre analyse
La vraie question n’est pas de savoir si les modèles actuels réussiront (ils finiront par y parvenir).
C’est de savoir si l’entraînement sur des jeux de données massifs avec l’architecture actuelle peut un jour produire une véritable capacité d’adaptation, ou si quelque chose de fondamentalement différent est nécessaire. Saining Xie, professeur à NYU, a avancé une thèse provocatrice selon laquelle les LLM sont « l’anti-Bitter Lesson », car ils sont entièrement construits à partir de connaissances produites par les humains plutôt que d’apprendre à partir d’expériences brutes (nous en parlerons davantage dans le nouvel épisode de notre podcast !).
Les modèles qui finiront par résoudre ARC-AGI-3 ne seront pas seulement plus intelligents ; ils auront une autre forme d’intelligence. Celle qui compte si l’AGI vous intéresse vraiment. Si ce n’est pas le cas, les modèles actuels sont des outils parfaitement convenables… ils nécessiteront simplement toujours potentiellement des milliards en accompagnement humain via l’entraînement. C’est peut-être préférable ainsi.
Note de la rédaction : ce contenu a d’abord été publié dans la newsletter de notre publication sœur, The Neuron. Pour lire davantage d’articles de The Neuron, inscrivez-vous à sa newsletter ici.