Si les agents d’IA étaient des employés, la nouvelle étude d’Upwork dirait en substance : ne les laissez pas sans surveillance.
Upwork a publié son nouvel indice de productivité Humain+Agent (HAPI), qu’elle présente comme la première étude à grande échelle du secteur consacrée à la manière dont les experts humains améliorent les performances des agents d’IA sur de véritables missions clients. L’entreprise affirme que ces résultats remettent en question l’idée selon laquelle les agents d’IA peuvent fonctionner de manière autonome et sans supervision.
Andrew Rabinovich, directeur technique et responsable de l’IA et de l’apprentissage automatique chez Upwork, a résumé le principal enseignement dans un entretien avec VentureBeat : « Les agents d’IA ne sont pas si agentiques, autrement dit, ils ne sont pas si performants. » Il a toutefois ajouté que la collaboration changeait la donne : « Lorsqu’ils sont associés à des professionnels humains experts, les taux d’achèvement des projets s’améliorent considérablement. »
HAPI repose sur plus de 300 projets réalisés et rémunérés sur la place de marché de la plateforme. Upwork précise que ces missions ont été choisies intentionnellement pour leur simplicité : presque toutes représentaient moins de 500 dollars US et moins de 6 % de son volume brut total de services.
Pourquoi cette étude est importante
La plupart des benchmarks d’IA reposent sur des données synthétiques ou des tests de type universitaire. HAPI utilise de véritables missions clients. Ce sont des tâches que des freelances ont réalisées et que des clients ont payées, ce qui offre à l’indice un aperçu rare du travail authentique, plutôt que d’expériences contrôlées.
Upwork affirme que cette approche montre comment le travail est réellement accompli sur la plus grande place de marché mondiale pour les freelances, qui compte environ 800 000 clients actifs publiant plus de 3 millions de missions par an.
HAPI s’inscrit également dans l’orientation générale des recherches de l’entreprise, décrite dans son article UpBench. Ce benchmark se concentre lui aussi sur des missions réelles, des évaluations fondées sur des grilles de critères et des boucles de rétroaction humaines afin d’étudier le comportement des agents d’IA dans des environnements professionnels.
Les agents seuls peinent, mais les humains les font franchir la ligne d’arrivée
Dans toutes les catégories, les agents d’IA, y compris ceux alimentés par les modèles de pointe comme Gemini 2.5 Pro, GPT-5, et Claude Sonnet 4, peinaient souvent à satisfaire les exigences de base lorsqu’ils travaillaient de manière autonome. Ils omettaient des détails, interprétaient mal les consignes et ne respectaient parfois pas des règles simples de mise en forme ou de traitement des données.
Mais dès qu’un freelance expert intervenait pour examiner le résultat et proposer des corrections, la situation changeait rapidement.
Upwork a constaté que :
- Les taux d’achèvement augmentaient de jusqu’à 70 % avec les conseils d’un humain.
- Les évaluateurs humains consacrent généralement environ 20 minutes à chaque cycle de retours.
- Les missions de rédaction, de traduction et de marketing ont enregistré des améliorations allant jusqu’à 17 points de pourcentage.
- Certaines missions d’ingénierie et d’architecture ont progressé de 23 points de pourcentage.
Le jeu de données UpBench fait apparaître une tendance similaire : les groupes liés à la mise en forme, aux feuilles de calcul, aux mises à jour de données, à la précision des traductions et à la structure des rapports comptaient parmi les domaines où les agents échouaient le plus souvent sans conseils, mais ces échecs diminuaient fortement dès que des humains intervenaient.
Les agents autonomes obtenaient leurs meilleurs résultats sur des tâches techniques comme le codage de base ou les opérations sur les données, où les règles sont claires et les résultats faciles à vérifier. Pour les travaux créatifs ou subjectifs, les humains apportaient le jugement et la nuance que les modèles ne pouvaient pas fournir de manière fiable.
Cela signifie que l’IA excelle dans la structure et la rapidité, tandis que les humains excellent dans le contexte et le sens.
L’économie du modèle : quand l’IA seule est pertinente — et quand elle ne l’est pas
Upwork a également étudié les coûts économiques de trois approches : l’IA seule, l’humain seul et l’humain dans la boucle (HITL), c’est-à-dire l’association d’un humain et de l’IA.
Pour les tâches de très faible valeur, l’IA seule peut être intéressante parce qu’elle est peu coûteuse, même si elle est imparfaite. Pour les projets de valeur intermédiaire, la collaboration entre humains et IA offre le meilleur résultat. Pour les tâches complexes ou de grande valeur, l’implication humaine complète reste l’option la plus fiable.
Les flux de travail reposant uniquement sur l’IA permettent de faire des économies sur les tâches triviales, mais à mesure que la valeur de la tâche augmente, la supervision humaine protège contre les erreurs coûteuses.
Un intérêt croissant pour le travail assisté par l’IA
Upwork a récemment fait état d’une hausse de 53 % sur un an de l’activité liée à l’IA, une tendance portée par les freelances qui utilisent l’automatisation pour se débarrasser des tâches routinières afin de pouvoir se concentrer sur les aspects plus complexes de leur travail.
Cette évolution s’intègre parfaitement à la stratégie future de l’entreprise, centrée sur Uma, un « agent de méta-orchestration » conçu pour gérer la collaboration entre les humains et l’IA. Le rôle d’Uma est de se comporter comme un chef de projet intelligent, en déterminant quelles parties d’une mission un agent peut prendre en charge et lesquelles nécessitent un expert humain, afin de garantir des résultats efficaces et de grande qualité.
« Nous ne voulons pas concevoir des agents qui accomplissent réellement les tâches, mais nous construisons cet agent de méta-orchestration qui détermine quelles compétences humaines et quelles compétences d’agent sont nécessaires pour mener les tâches à bien », a déclaré Rabinovich à VentureBeat.
Rabinovich estime que cette évolution crée de nouvelles opportunités à forte valeur ajoutée pour les professionnels. Selon lui, même si « les tâches plus simples seront automatisées par des agents », les emplois eux-mêmes « deviendront beaucoup plus complexes quant au nombre de tâches, de sorte que la quantité de travail et, par conséquent, les revenus des freelances ne feront en réalité qu’augmenter ».
Un récent examen de la manière dont l’IA transforme la main-d’œuvre de la génération Z illustre la même tendance : l’automatisation accélère la production, tandis que les experts humains garantissent la précision et la prise de décision stratégique.