Amazon veut que ses ingénieurs utilisent l’IA. Mais l’entreprise ne veut pas qu’ils épuisent leurs tokens simplement pour donner l’impression d’être productifs.
Dans une note interne rendue publique le 27 oct., l’entreprise a mis en garde contre le « tokenmaxxing », c’est-à-dire la consommation excessive de tokens d’IA — les unités de texte que les modèles traitent ou génèrent — pour gonfler les chiffres d’utilisation. Les responsables de l’ingénierie ont averti que la course aux chiffres pouvait accroître les coûts sans produire de meilleures performances.
Les managers doivent désormais relever le défi de promouvoir l’adoption de l’IA sans transformer son utilisation en compétition.
Les indicateurs d’utilisation de l’IA restent importants — mais ils doivent être interprétés avec discernement
Les directives d’ingénierie révisées d’Amazon donnent la priorité aux résultats pour les clients et l’entreprise plutôt qu’aux outils utilisés par les développeurs. Les résultats à long terme peuvent toutefois mettre du temps à apparaître et être difficiles à relier aux contributions individuelles.
La note identifie donc deux indicateurs complémentaires.
- Indicateurs d’entrée : ils mesurent la consommation de tokens et l’adoption des outils de codage par IA. Une utilisation élevée peut témoigner d’une volonté d’expérimenter, mais elle ne permet pas nécessairement de déterminer si les développeurs accomplissent davantage.
- Indicateurs de débit : ils couvrent l’activité d’ingénierie, notamment les modifications de code et les revues. Ériger ces chiffres en objectifs de performance peut encourager un travail inutile et accroître la complexité des logiciels.
La direction juge ces deux indicateurs profondément imparfaits lorsqu’ils sont traités comme des objectifs. L’entreprise fait néanmoins état d’une corrélation entre l’adoption de l’IA et l’augmentation de la livraison chez ses utilisateurs les plus actifs, qu’elle appelle les « équipes pionnières ».
Selon la note, les employés et les équipes qui n’adoptent pas l’IA ou n’améliorent pas leur production prennent du retard. Amazon affirme que ces indicateurs peuvent éclairer les réflexions sur les carrières et la performance organisationnelle, à condition d’être utilisés avec discernement et précaution.
Les managers invités à examiner les grands et les faibles utilisateurs de l’IA
Il est conseillé aux responsables de l’ingénierie d’étudier les équipes situées autour du 10e centile d’adoption de l’IA afin de comprendre pourquoi leur utilisation reste faible. Au 90e centile, ils doivent déterminer si une utilisation intensive s’accompagne d’une hausse de la livraison.
Les développeurs dont le travail ne bénéficie pas des outils d’IA actuels sont encouragés à documenter leur expérience et à en discuter avec leurs collègues et leurs supérieurs. Expliquer pourquoi la technologie n’améliore pas une tâche témoigne d’un bon discernement d’ingénieur.
Les responsables de l’ingénierie sont également censés utiliser eux-mêmes l’IA dans le cadre de missions de production et identifier une tâche pour laquelle les outils ont été utiles et une autre pour laquelle ils ne l’ont pas été. Cette expérience doit éclairer la manière dont ils évaluent le travail des employés.
En outre, les attentes révisées demandent aux managers d’accorder à leurs équipes du temps pour développer des compétences pratiques en IA. Les ingénieurs sont invités à approfondir leur connaissance des produits et des clients qu’ils accompagnent, un domaine dans lequel la direction de l’entreprise a reconnu que certains employés avaient perdu le contact.
Ce qu’a constaté eWeek : le nombre de tokens peut refléter la conception des outils, et pas seulement l’activité des développeurs
Deux ingénieurs utilisant le même modèle d’IA peuvent engendrer des coûts très différents pour un travail comparable, simplement parce que leurs logiciels d’agents de codage fonctionnent différemment.
Dans une étude comparative publiée par AWS le 21 oct., les chercheurs ont testé 12 modèles d’IA dans deux frameworks d’agents de codage, avec des conditions identiques pour les tâches et l’hébergement. Un modèle coûtait environ 24 dollars par tâche avec le framework le plus lourd, contre 8 dollars avec l’alternative plus légère, sans amélioration des scores d’évaluation. Des agents d’IA supplémentaires consommaient davantage de tokens et de temps de calcul.
Amazon demande aux managers d’examiner l’activité liée à l’IA et la production d’ingénierie dans les différentes équipes, mais les résultats d’AWS mettent en évidence un problème potentiel avec ces comparaisons. Un nombre de tokens plus élevé peut refléter les surcoûts logiciels plutôt qu’un effort individuel ou une productivité supérieurs.
Le benchmark d’AWS utilisait des tâches issues d’un seul dépôt et n’évaluait pas la performance des employés. Ses résultats permettent de tirer une conclusion plus limitée : la conception des agents de codage peut modifier la consommation de tokens et les coûts sans amélioration correspondante de la qualité évaluée. Ils n’établissent pas comment les indicateurs appliqués aux employés d’Amazon fonctionnent en pratique.
Pour les managers, cela signifie qu’il faut vérifier quels modèles et quelles configurations d’agents les employés utilisent avant de comparer leur consommation. La complexité des tâches et les exigences de revue méritent également d’être prises en compte : un nombre élevé de tokens ne suffit pas à déterminer si quelqu’un expérimente de manière productive, répète des tentatives infructueuses ou utilise un outil plus gourmand en ressources.
Une évaluation plus utile associerait les données d’utilisation à des éléments sur le travail réalisé, notamment sa qualité, l’effort de revue, les reprises et le délai de livraison. Il s’agit de pistes pour interpréter l’activité liée à l’IA ; le benchmark d’AWS n’a pas évalué la performance des employés.
Pour les ingénieurs, documenter les situations où l’IA est utile — et celles où elle ajoute du travail — peut rendre ces discussions plus concrètes. La question plus large, sur le lieu de travail, est de savoir si les employeurs peuvent récompenser les améliorations démontrées sans inciter à générer davantage d’activité simplement parce qu’elle est plus facile à comptabiliser.
Vous voulez découvrir d’autres conseils, astuces et techniques de rédaction de prompts pour l’IA ? Les lecteurs d’eWeek bénéficient de 7 jours d’accès gratuit à The Neuron Academy, notre plateforme d’apprentissage pratique conçue pour aider les professionnels à utiliser l’IA avec plus d’assurance au travail. Parcourez toutes les leçons →
Découvrez comment parler à l’IA gratuitement ! Suivez notre cours de six minutes sur The Neuron Academy et découvrez quelques méthodes simples pour rédiger de meilleurs prompts et obtenir des résultats plus utiles de l’IA, ou parcourez gratuitement pendant sept jours notre autre cours consacré à l’IA. Découvrez toutes les leçons ici →