Un agent d’IA peut produire une analyse plausible tout en prenant la mauvaise décision commerciale. Dans Argo-Bench, un nouveau benchmark de données d’entreprise, le modèle le plus performant a obtenu au moins 95 points sur 100 pour seulement 34,8 % des 210 tâches.
Claude Opus 5.5 domine actuellement le classement v1.1 avec une note moyenne de 59,5, selon TextQL Labs. Ce résultat révèle un écart entre les agents capables d’analyser les données d’entreprise et ceux capables d’agir de manière fiable à partir de ces données.
Le classement actuel d’Argo-Bench classe 13 modèles, tandis que la prépublication du 1er octobre présente les résultats de 14 modèles de pointe et à poids ouverts. Le benchmark simule une entreprise new-yorkaise de livraison de repas ayant traité 81 millions de commandes en 2024, puis exporte ses données dans un entrepôt de données de 235 tables et 7,49 milliards de lignes, conçu sur le modèle d’Oracle E-Business Suite.
Comment Argo-Bench teste les agents d’IA d’entreprise
Selon la méthodologie du benchmark, les agents peuvent interroger l’entrepôt, utiliser des outils statistiques et d’apprentissage automatique fondés sur Python, et produire différents résultats, notamment le bannissement de comptes pour fraude, des prévisions, des budgets, des chiffres publiés et des sources de données pour tableaux de bord. Ce dispositif va au-delà des tests texte-vers-SQL, qui évaluent principalement la capacité des modèles à traduire des requêtes en langage naturel en requêtes de base de données.
Sur les 210 tâches, 178 exigent davantage qu’une réponse numérique. Dans une tâche de réduction des coûts, GPT-6 Astra a identifié les cas où les primes des chauffeurs semblaient les moins efficaces, mais n’a pas pris en compte leur lien avec les majorations tarifaires plus coûteuses appliquées en période de forte demande. Son plan a entraîné une perte de 86 281 dollars US dans la simulation, tandis que Claude Opus 5.5 a pris en compte cet arbitrage et généré environ 3,09 millions de dollars US d’économies nettes.
D’autres échecs ont montré comment des résultats plausibles peuvent dissimuler de mauvais résultats sous-jacents. Sur 2 894 séries de prévisions, les intervalles de prédiction nominaux à 80 % contenaient le résultat effectivement observé seulement 41,8 % du temps. Argo-Bench a également constaté que 72,8 % des sources de données de tableaux de bord respectant le format structurel requis obtenaient une note nulle pour leurs valeurs sous-jacentes.
Ce qu’a constaté eWeek : terminer une tâche ne prouve pas qu’elle a été correctement exécutée
À mesure que les entreprises passent des copilotes IA aux workflows autonomes, Argo-Bench ne permet pas d’établir à quelle fréquence les agents échoueraient en production. Son entrepôt simulé n’est pas l’environnement réel d’une entreprise, mais ses résultats montrent que les benchmarks évaluant uniquement le code, le SQL et l’exécution des tâches ne suffisent pas à établir qu’un agent prendra des décisions commerciales fiables sur des données d’entreprise complexes.
Deux autres benchmarks récents ont relevé des lacunes similaires dans des contextes différents. L’étude ERPBench a révélé que certains agents fonctionnant uniquement à partir de captures d’écran pouvaient accéder à la bonne fiche ERP et l’enregistrer tout en y stockant une valeur erronée. World of Workflows, fondé sur un environnement basé sur ServiceNow comprenant plus de 4 000 règles métier et 55 workflows, a montré que des effets cachés du système pouvaient amener les agents à enfreindre des contraintes invisibles dans l’interface.
Cela crée un problème opérationnel tandis que les entreprises étendent la visibilité interplateforme sur les agents d’IA et accordent aux systèmes autonomes un accès plus large aux logiciels métier. Les DSI, les directeurs des données et les architectes d’entreprise doivent effectuer des contrôles par rapport aux données de référence et aux règles métier avant que les agents ne valident des décisions concernant les budgets, la fraude, les prévisions ou les dossiers d’entreprise.
Le même principe apparaît dans les efforts visant à instaurer des contrôles de sécurité autour des agents autonomes : la capacité d’un agent à exécuter une tâche ne prouve ni que son action est correcte ni qu’elle est autorisée. Ces benchmarks contrôlés ne prouvent pas que les dispositifs de vérification élimineront les erreurs, mais ils montrent pourquoi un signal de fin d’exécution ne doit pas être considéré comme la preuve que le résultat sous-jacent est correct.
Vous souhaitez découvrir d’autres conseils, astuces et techniques de rédaction de prompts pour l’IA ? Les lecteurs d’eWeek bénéficient de 7 jours d’accès gratuit à The Neuron Academy, notre plateforme d’apprentissage pratique conçue pour aider les professionnels à utiliser l’IA avec davantage d’assurance au travail.
Laissez-nous vous apprendre Comment parler à l’IA gratuitement ! Suivez notre cours de six minutes sur The Neuron Academy et découvrez quelques méthodes simples pour rédiger de meilleurs prompts et obtenir des résultats plus utiles avec l’IA, ou consultez gratuitement notre autre cours sur l’IA pendant 7 jours. Découvrez toutes les leçons ici →