OpenAI et Google DeepMind se sont distinguées la semaine dernière lors de la finale mondiale du Concours international de programmation universitaire, à Bakou, en Azerbaïdjan : les modèles d’OpenAI ont résolu les 12 problèmes de la plus prestigieuse compétition universitaire de programmation au monde.
Ahmed El-Kishky, responsable de la recherche chez OpenAI, était présent et s’est entretenu avec nos collègues de The Neuron dans le cadre d’un entretien en podcast au sujet de cette victoire et de ce qu’OpenAI a appris de la compétition.
La préparation d’OpenAI pour le concours
L’IA générative a réalisé d’importants progrès en mathématiques et en programmation compétitives au cours de l’année écoulée. Les versions précédentes, comme GPT-4, obtenaient des résultats si médiocres que leurs tentatives faisaient planter l’ordinateur bac à sable utilisé lors des compétitions, a expliqué El-Kishky.
Cette année, « les gens étaient nerveux » au sein de la petite équipe d’OpenAI qui s’était rendue en Azerbaïdjan, a noté El-Kishky.
Pourtant, les circonstances étaient très différentes de celles de 2024. Les chercheurs avaient préentraîné les modèles qu’ils allaient utiliser pour la compétition, y compris ceux fondés sur l’apprentissage par renforcement.
Une semaine avant l’événement, l’équipe a effectué une répétition générale, « passant de longues nuits à essayer de s’assurer que tout fonctionnait », a déclaré El-Kishky.
Deux modèles se sont attaqués aux problèmes : GPT-5 et un modèle de raisonnement expérimental qui n’est pas accessible au public.
Mettre GPT-5 à l’épreuve face à un nouveau modèle de raisonnement
« Dans ce cas, nous savions que GPT-5 pouvait aller très loin, mais nous ne voulions pas nous limiter à cela », a déclaré El-Kishky. « Nous voulions aussi tester les performances des modèles de raisonnement. Nous avons donc essayé les deux. »
Les deux modèles ont tenté de résoudre le problème à plusieurs reprises. Le modèle de raisonnement expérimental a décidé quelle solution soumettre. GPT-5 était plus rapide, mais le modèle expérimental était plus puissant. GPT-5 n’a pas réussi à résoudre le dernier problème, tandis que le modèle expérimental y est parvenu à sa deuxième tentative.
La compétition a offert un exemple intéressant de problèmes difficiles pour les humains, mais pas vraiment pour une IA — et inversement, a déclaré El-Kishky.
Elle a également montré le chemin parcouru par les capacités de raisonnement de l’IA. Les modèles de raisonnement et les modèles dotés d’un apprentissage par renforcement fonctionnent mieux en raison de leur ressemblance avec la résolution de problèmes par les humains, a expliqué El-Kishky.
« Face à un problème difficile, aucun humain ne donne immédiatement une réponse », a-t-il déclaré. « Si je vous demandais de multiplier un nombre à quatre chiffres par un nombre à cinq chiffres, vous ne me donneriez pas une réponse instantanément. »
La percée est venue de l’apprentissage par renforcement, c’est-à-dire de la capacité à « imiter la façon dont un humain réfléchit à ces problèmes. Les modèles essaient différentes choses et peuvent s’engager dans de mauvaises directions jusqu’à des impasses, puis rectifier le tir », a déclaré El-Kishky.
Les compétitions de programmation permettent d’évaluer les progrès de l’IA
Fidèle à la mission d’OpenAI, El-Kisky a déclaré que le véritable objectif des modèles d’IA était d’accroître les connaissances humaines, et non de remporter des concours de programmation.
« Les compétitions ne sont pas vraiment une fin en soi », a déclaré El-Kishky. « Elles servent simplement, en quelque sorte, à évaluer les progrès. »
Le modèle expérimental utilisé lors de la compétition ne sera pas mis à la disposition du public, mais les recherches qui le sous-tendent pourraient un jour être appliquées à d’autres modèles et, à terme, à ChatGPT.
Apprendre aux modèles à programmer de manière autonome constitue un axe de recherche important pour l’entreprise dans son ensemble, a noté El-Kishky. OpenAI souhaite développer des agents d’IA capables d’fonctionner de manière autonome pendant des jours, des semaines ou des mois.
À lire également : El-Kishky
Découvrez l’entretien complet de The Neuron avec El-Kishky, qui évoque notamment le travail chez OpenAI et donne des détails sur d’autres compétitions auxquelles des employés ont participé.
Pleins feux sur un autre épisode du podcast The Neuron : Mustafa Suleyman, responsable de l’IA chez Microsoft, expose sa vision de l’avenir de l’intelligence artificielle et des responsabilités qui l’accompagnent. Ses propos pourraient façonner les attentes du secteur en matière d’innovation et de gouvernance.