Les outils d’intelligence artificielle peuvent ralentir les développeurs open source expérimentés au lieu d’accélérer leur travail, selon les résultats publiés par le groupe de recherche à but non lucratif sur l’IA METR.
Les développeurs et les experts s’attendaient largement à ce que l’utilisation d’outils avancés améliore considérablement la productivité et réduise d’environ 24 % le temps nécessaire pour accomplir des tâches dans des bases de code familières ; toutefois, une étude randomisée menée par METR a conclu que c’était l’inverse.
« À notre grande surprise, nous constatons que lorsque les développeurs utilisent des outils d’IA, ils mettent 19 % plus de temps » que sans ces outils de pointe, selon les auteurs de l’étude.
Les benchmarks « sacrifient le réalisme »
L’étude souligne également que « si les benchmarks de codage et d’agents se sont révélés utiles pour comprendre les capacités de l’IA, ils sacrifient généralement le réalisme au profit de l’échelle et de l’efficacité. »
Les auteurs du rapport expliquent ensuite que les tâches de programmation sont souvent « autonomes » et ne nécessitent pas de contexte préalable pour comprendre les capacités des outils. Elles « utilisent également une évaluation algorithmique qui ne rend pas compte de nombreuses capacités importantes… Ces caractéristiques peuvent conduire les benchmarks à surestimer les capacités de l’IA. »
Il est à noter que, dans cette étude, les chercheurs ont observé que, les benchmarks ne bénéficiant pas d’une supervision humaine, les modèles d’IA se retrouvaient souvent bloqués face à des obstacles mineurs qu’un développeur aurait pu résoudre rapidement dans des situations concrètes. Par conséquent, les benchmarks peuvent surestimer les capacités de l’IA en raison de leur conception.
Les futurs modèles pourraient être plus performants
Bien que le ralentissement semble avoir été globalement constant d’une tâche à l’autre, les auteurs ont souligné que les résultats pourraient être propres à l’environnement testé. « Ces résultats n’impliquent pas que les futurs modèles n’accéléreront pas le travail des développeurs dans ce contexte précis », ce qui constitue « une possibilité tout à fait plausible » au vu des progrès rapides réalisés pour accroître les capacités de l’IA.
Néanmoins, ces résultats remettent en question l’idée largement répandue selon laquelle l’IA rend toujours les ingénieurs logiciels très bien rémunérés beaucoup plus productifs, ce qui a entraîné d’importants investissements dans des fournisseurs dont les outils de programmation par IA, connus sous le nom de «vibe coders », amélioreront le processus de développement logiciel.
« Nos résultats révèlent un écart important entre l’impact perçu et l’impact réel de l’IA sur la productivité des développeurs », ont déclaré les auteurs de l’étude. « Malgré l’adoption généralisée des outils d’IA et les prévisions assurées d’un gain de vitesse formulées par les experts comme par les développeurs, nous observons que l’IA ralentit en réalité les développeurs expérimentés dans ce contexte. »
Les chercheurs ont également constaté que les outils de programmation par IA peuvent parfois introduire des erreurs et des failles de sécurité.
Méthodologie
Pour mesurer l’impact réel de l’IA sur la productivité des développeurs, METR a organisé un essai contrôlé randomisé au cours duquel 16 développeurs ont réalisé 246 tâches dans des dépôts open source auxquels ils contribuaient régulièrement. Chaque tâche a été assignée aléatoirement avec obligation ou interdiction d’utiliser l’IA, et les chercheurs ont enregistré le temps nécessaire aux participants pour la terminer dans chacune des conditions.
Découvrez comment les grandes entreprises technologiques transforment le marché du travail : lisez notre article sur la manière dont Anthropic et IBM transforment les carrières des développeurs à l’ère de l’IA.