Le battage médiatique : les agents IA vont automatiser des workflows entiers ! Remplacer les freelances ! Gérer des tâches complexes de bout en bout !
La réalité : un maigre taux de réussite de 2 à 3 %.
Voyez, Scale AI et CAIS viennent de publier le Remote Labor Index ( (rapport), un benchmark dans lequel des agents IA ont tenté d’accomplir de véritables tâches de freelance. Le modèle le plus performant n’a gagné que 1 810 dollars US sur les 143 991 dollars US de missions disponibles et, oui, en terminant seulement 2 à 3 % des missions.
Ce benchmark constitue un salutaire retour à la réalité pour un secteur dépensant des sommes folles comme des méchants de films de Bond sur l’hypothèse que l’IA automatisera tout le travail. Et honnêtement ? Ce sont des données utiles.
Voici ce qui a été testé
De véritables tâches issues de plateformes de freelance. Pas des problèmes artificiels ni des benchmarks universitaires, mais de vraies missions pour lesquelles des humains sont rémunérés : rédaction, recherche, saisie de données et conception graphique.
Pourquoi les agents ont eu du mal:
- Des workflows en plusieurs étapes, avec des transitions mal définies.
- Des exigences ambiguës que nous, les humains, clarifions par le dialogue.
- Des tâches nécessitant de trancher et de tenir compte du contexte.
- Du travail qui demande des itérations et les retours du client.
Ce que les agents SAVENT faire : Dans les environnements de production, de petits modèles ajustés prennent bien en charge les tâches répétitives du quotidien tandis que les modèles plus grands orchestrent les workflows ou gèrent les cas particuliers. Cette configuration fonctionne, mais elle reste limitée et supervisée par des humains.
Ces agents ont aussi des coûts cachés. Même lorsqu’ils fonctionnent, la récente analyse de Rate Limited montre que les agents de programmation « gratuits » ont un coût : limites de débit, latence, audits de sécurité et reprises. Il faut des garde-fous et des budgets, pas une automatisation aveugle.
Le contrepoint : une nouvelle étude qui montre que 74 % des entreprises qui mesurent réellement le ROI de la GenAI font état de retours positifs (rapport complet).
Pourquoi c’est important
Nous sommes dans une étrange zone intermédiaire. L’IA peut augmenter les capacités humaines de manière impressionnante, mais elle ne peut pas encore remplacer les humains qualifiés pour les tâches complexes (le problème du milieu vers le milieu). Comprendre cet écart aide à définir des attentes réalistes.
Ce qui nous attend : de meilleures architectures d’agents, des workflows plus étroitement intégrés à l’humain et des agents spécialisés dans des domaines précis. Les progrès sont réels, c’est simplement qu’ils ne se produisent pas (avec succès) aussi rapidement que les entreprises d’IA veulent vous le faire croire.
À retenir : si quelqu’un essaie de vous vendre des travailleurs IA entièrement autonomes, demandez à voir les taux de réussite sur les tâches réelles que vous effectuez chaque jour… ou n’achetez pas.
Note de la rédaction : ce contenu a d’abord été publié dans la newsletter envoyée aujourd’hui par notre publication sœur, The Neuron. Pour découvrir d’autres articles de The Neuron, inscrivez-vous à sa newsletter ici.