Un benchmark d’IA révolutionnaire baptisé « L’ultime examen de l’humanité » fait des vagues dans la communauté de l’IA. Mis au point par le Center for AI Safety (CAIS) en partenariat avec Scale AI, il vise à devenir le test ultime pour déterminer si l’IA peut atteindre un niveau de raisonnement, de créativité et de résolution de problèmes comparable à celui des humains. Ce sont ces facultés qui distinguent l’intelligence véritable de la simple imitation.
L’ultime examen de l’humanité est conçu pour repousser les limites de ce que l’IA peut accomplir. Il s’agit d’un benchmark qui demande aux systèmes d’IA de démontrer des capacités allant bien au-delà des tâches traditionnelles, établissant ainsi une nouvelle référence pour l’évaluation de l’IA.
Un benchmark d’IA pas comme les autres
L’ultime examen de l’humanité ne vise pas à mesurer la puissance de calcul brute ni la précision dans des tâches comme le résumé d’articles ou l’identification d’images. Il évalue plutôt l’intelligence générale et le raisonnement éthique. Le benchmark met l’IA au défi de répondre à des questions de mathématiques, de sciences et de logique, tout en abordant des dilemmes moraux et les implications des technologies émergentes.
« Nous voulions des problèmes capables de tester les capacités des modèles à la frontière des connaissances et du raisonnement humains », a expliqué CAIS co-founder and executive director Dan Hendrycks.
L’une des particularités de ce benchmark est l’intégration de défis « en monde ouvert », dans lesquels les problèmes n’ont pas une seule réponse correcte. L’IA peut par exemple analyser des situations hypothétiques qui mettent en balance des considérations éthiques et anticiper leurs conséquences à long terme. Ce test ambitieux pousse l’IA à faire preuve de compréhension contextuelle et de discernement.
L’IA devient-elle trop intelligente ?
Les détracteurs se demandent si L’ultime examen de l’humanité n’accorde pas trop d’importance aux caractéristiques humaines, ce qui alimente les débats sur sa pertinence et les craintes de voir un jour l’IA dépasser l’intelligence humaine. Ses partisans estiment toutefois que des benchmarks comme celui-ci sont essentiels pour explorer les véritables capacités de l’IA et en révéler les limites. En repoussant les frontières, ce test offre un aperçu crucial de l’avenir de l’IA, un avenir fascinant et, pour certains, quelque peu inquiétant. De quoi laisser ouverte la question : est-ce la clé pour comprendre l’IA, ou sommes-nous en train de nous aventurer sur un terrain auquel nous ne sommes pas prêts à faire face ?
Et maintenant ?
Les premiers essais ont déjà commencé, avec la participation de grands acteurs comme OpenAI, Anthropic et Google Deepmind. Pour l’instant, les modèles GPT-4 et GPT-o1 d’OpenAI sont en tête, mais aucun modèle d’IA n’a encore franchi le seuil des 50 %… pour l’instant. Hendrycks soupçonne que les scores des modèles d’IA pourraient dépasser ce seuil d’ici la fin de l’année. Reste à savoir si L’ultime examen de l’humanité se révélera un défi insurmontable ou le début d’une nouvelle ère pour l’intelligence artificielle générale.
Lisez nos analyses de Grok, ChatGPT, et de Gemini et jugez vous-même leur intelligence.