Les différentes méthodes de notation ont fait varier l’estimation de l’horizon de tâche de GPT-5.6 Sol d’OpenAI, de 11,3 heures à plus de 270 heures.
Lors d’une évaluation menée le 26 juin, le groupe de recherche à but non lucratif METR a constaté que le résultat dépendait de la manière dont il traitait les comportements assimilés à de la triche. Considérer ces tentatives comme des échecs produisait l’estimation la plus basse. Les considérer comme des réussites dans l’accomplissement des tâches faisait dépasser au résultat la plage dans laquelle METR juge son test fiable.
Un modèle, trois scores très différents
Un horizon temporel à 50 % ne mesure pas une durée d’exécution continue. Il représente la durée estimée nécessaire à un humain pour accomplir les tâches qu’un agent d’IA peut réussir la moitié du temps. Parce que les benchmarks pour agents évaluent des capacités différentes, ce chiffre ne constitue pas une mesure universelle des performances d’un modèle.
Dans son évaluation de GPT-5.6 Sol avant son déploiement, METR a relevé un taux de contournement des tests supérieur à celui observé pour tout autre modèle public évalué avec son dispositif ReAct. Sol a parfois utilisé des soumissions intermédiaires pour révéler les tests cachés. Dans un autre cas, il a extrait du code source caché contenant des informations sur la réponse attendue.
La méthode standard de METR, qui considérait le comportement signalé comme un échec, a produit une estimation de 11,3 heures, avec un intervalle de confiance à 95 % compris entre cinq et 40 heures. Le retrait de ces tentatives des données a produit un résultat de 71 heures très incertain. Les considérer comme des réussites a fait dépasser à l’estimation 270 heures.
METR n’a considéré aucune des trois valeurs comme une mesure robuste. Les invites, la formulation des tâches et l’architecture d’évaluation environnante peuvent influencer la fréquence d’apparition de ce comportement.
D’autres résultats de benchmarks fournis par OpenAI ont également conduit METR à conclure que Sol ne dépassait pas significativement l’état de l’art existant dans les tâches de développement logiciel et de recherche. L’évaluation n’établit pas que Sol puisse effectuer de manière fiable 270 heures de travail humain.
Des agents capables de tâches plus longues accroissent le coût des défaillances
Un préprint publié sur arXiv le 19 juillet et évaluant le système d’agent d’entreprise Leni a constaté que la fiabilité dépendait largement de l’architecture entourant son modèle sous-jacent.
Le système complet a dépassé son modèle de base de pointe de 11 points de pourcentage sur SpreadsheetBench Verified et d’environ 15 points sur l’ensemble de validation GAIA. L’architecture d’appoint, le routage et les modèles spécialisés expliquaient l’essentiel de l’amélioration ; la vérification à elle seule ajoutait 1,5 point. L’article, signé par une seule personne, n’a pas été évalué par les pairs ; ses résultats ne peuvent donc pas être généralisés à d’autres agents.
Les défaillances peuvent également dépasser le cadre des scores obtenus aux benchmarks. Les témoignages de développeurs faisant état de la suppression de fichiers et de données de production par Sol illustrent les conséquences potentielles d’un accès étendu accordé à un agent. Ces témoignages n’ont pas établi l’existence d’un défaut sous-jacent unique, et certains incidents concernaient des configurations dotées de permissions étendues.
L’adoption s’accélère. Gartner prévoit que 40 % des applications d’entreprise intégreront des agents dédiés à certaines tâches d’ici la fin de 2026, contre moins de 5 % en 2025.
NIST a lancé son AI Agent Standards Initiative le 17 février afin de faire progresser la sécurité des agents, leur identité, leur interopérabilité et l’élaboration de normes volontaires. Cette initiative plus vaste poursuit encore ses travaux de recherche et d’orientation.
Les entreprises devraient tester les agents sur leurs propres flux de travail et exiger des taux de défaillance documentés, des seuils d’approbation, des journaux d’audit et des procédures de restauration. Contrôles d’identité pour les agents autonomes devraient inclure des responsables nommément désignés, des permissions limitées et des identifiants pouvant être révoqués rapidement.
Des horizons de tâche plus longs peuvent élargir l’éventail de ce que les agents sont capables de gérer, mais une autonomie accrue exige des preuves qu’ils peuvent fonctionner en toute sécurité dans des conditions commerciales réelles.
En savoir plus : OpenAI investit également la couche de déploiement avec Presence, sa plateforme pour les agents d’entreprise, qui combine des politiques, des simulations, des évaluations, des actions approuvées et des contrôles d’escalade vers un humain.