L’intelligence artificielle prouve sa valeur pour générer du texte, reconnaître des images et automatiser des processus, mais les systèmes d’IA se heurtent à des limites lorsqu’ils tentent de résoudre des problèmes de raisonnement mathématique avancé. Un nouveau benchmark précurseur de la société de recherche Epoch AI, baptisé FrontierMath, a révélé que même les systèmes d’IA les plus avancés actuellement, notamment GPT-4o et Gemini 1.5 Pro, n’ont résolu que moins de 2 % des problèmes de raisonnement mathématique auxquels ils ont été confrontés, même après de longues heures de travail.
Les benchmarks sont nécessaires pour comprendre et mesurer les progrès de l’IA. Selon le marketing produit d’Epoch AI, FrontierMath « peut évaluer dans quelle mesure les systèmes d’IA s’engagent dans un raisonnement scientifique complexe », car « les problèmes mathématiques peuvent être vérifiés de manière rigoureuse et automatique », contrairement aux domaines où l’évaluation repose sur un jugement subjectif et des tests coûteux.
Les performances des modèles
Epoch AI fournit des exemples de problèmes que des mathématiciens experts passent des heures à résoudre, comme tester la conjecture des racines primitives d’Artin ou trouver le polynôme de degré 19. Les modèles d’IA actuels ont bénéficié d’un « soutien étendu pour optimiser leurs performances » avant de s’attaquer à des problèmes mathématiques avancés, notamment d’un accès à des environnements Python pour les tests et la vérification. Toutefois, ce soutien n’a pas suffi à les préparer.
« FrontierMath s’est révélé exceptionnellement difficile pour les systèmes d’IA actuels », a rapporté Epoch AI.
Les systèmes d’IA ont obtenu de très bons résultats sur des benchmarks mathématiques plus simples comme GSM8K et MATH — plus de 90 % —, mais n’ont obtenu qu’environ 2 % sur les problèmes avancés. Tous les problèmes de FrontierMath n’avaient jamais été publiés auparavant, afin d’écarter les risques de contamination des données qui concernent les benchmarks existants.
Dans un billet de blog consacré au nouveau benchmark, le mathématicien Evan Chen a expliqué qu’il estime que FrontierMath diffère à plusieurs égards des concours de mathématiques traditionnels comme l’Olympiade internationale de mathématiques (IMO) ou le Putnam. Les problèmes de l’IMO évitent les connaissances spécialisées et les calculs complexes, tandis que FrontierMath les accueille favorablement. Bien que tous ces concours et benchmarks testent la capacité à trouver des idées créatives, a-t-il ajouté, FrontierMath « inverse purement et simplement » deux autres propriétés liées à la conception d’un problème : celui-ci ne devrait pas nécessiter beaucoup d’implémentation et devrait être élémentaire.
« Comme un système d’IA dispose d’une puissance de calcul immensément supérieure, écrit Chen, il est en fait possible de concevoir des problèmes dont les solutions sont faciles à vérifier en reprenant la même idée que l’IOI ou Project Euler : en gros, “écrire une preuve” est remplacé par “implémenter un algorithme en code”. »
Évaluer les systèmes d’IA : quelles prochaines étapes ?
Pour déterminer si les systèmes d’IA possèdent, lors de l’évaluation, des capacités de raisonnement mathématique de niveau recherche, Epoch AI a déclaré qu’elle prendrait les mesures suivantes pour rendre le benchmark plus utile à mesure que les systèmes d’IA progressent:
- Évaluations régulières des principaux modèles d’IA
- Élargissement du benchmark
- Publication de problèmes supplémentaires destinés au public
- Renforcement du contrôle qualité
Epoch AI a déclaré que le benchmark FrontierMath avait été développé en collaboration avec plus de 60 mathématiciens issus d’institutions de premier plan. Il couvre tout le spectre des mathématiques modernes, de la théorie computationnelle des nombres à la géométrie algébrique abstraite.