Selon une étude d’OpenAI publiée le 18 févr. sous le titre « SWE-Lancer : les LLM de pointe peuvent-ils gagner 1 million de dollars grâce à des missions de développement logiciel freelance dans le monde réel ? », les grands modèles de langage, ou LLM, sont plus doués pour corriger des bugs que pour comprendre le problème fondamental qui les provoque.
Mettre les LLM au travail sur la correction de bugs et d’autres missions de développement logiciel
Pour évaluer la capacité des LLM à gérer des tâches de développement logiciel dans le monde réel, OpenAI a créé un benchmark baptisé SWE-Lancer et l’a testé sur Upwork, une plateforme populaire de missions freelance.
SWE-Lancer a évalué combien d’argent trois LLMs — Claude 3.5 Sonnet, GPT-4o d’OpenAI et o1 d’OpenAI — pourraient générer en réalisant des missions de développement logiciel proposées sur Upwork. Cependant, les chercheurs d’OpenAI ont constaté que « … les modèles de pointe sont encore incapables de résoudre la majorité des tâches. »
Tester des solutions générées par l’IA dans des conditions réelles
Contrairement aux évaluations traditionnelles de l’IA, qui comparent les modèles aux capacités cognitives humaines, SWE-Lancer s’est concentré sur la mesure de l’impact économique en simulant des missions freelance dans le monde réel.
Pour créer ce benchmark, les chercheurs d’OpenAI ont sélectionné 764 tâches sur Upwork et les ont converties en un jeu de données structuré au moyen de conteneurs Docker. Les tâches étaient de complexité variable, allant de corrections de bugs à 50 dollars à des implémentations de fonctionnalités à 32 000 dollars. Comme les LLM ne pouvaient toujours pas accéder directement aux annonces Upwork extraites, les chercheurs ont dû créer des prompts à partir de celles-ci, accompagnés d’un échantillon du code source de chaque projet.
Les réponses des modèles ont été évaluées à l’aide de Playwright, une bibliothèque open source de test de navigateurs, afin de déterminer si la solution fonctionnait réellement.
Malgré ses solides performances, Claude 3.5 Sonnet n’a correctement résolu que 26,2 % des tâches, selon les ingénieurs logiciels humains expérimentés qui supervisaient l’expérience. Si les LLM peuvent analyser rapidement les données, ils échouent souvent à identifier la cause sous-jacente d’un problème, ce qui conduit à des solutions incorrectes.
Claude 3.5 Sonnet a obtenu les meilleurs résultats dans l’étude SWE-Lancer d’OpenAI. Image : OpenAI
« Le travail freelance dans le monde réel… reste difficile pour l’IA »
« Les résultats indiquent que le travail freelance dans le monde réel de notre benchmark reste difficile pour les modèles de langage de pointe », ont écrit les chercheurs d’OpenAI Samuel Miserendino, Michele Wang, Tejal Patwardhan et Johannes Heidecke.
Les chercheurs ont écrit que les études précédentes consacrées aux applications possibles de l’IA générative au développement logiciel portaient sur des tâches spécifiques dans des environnements autonomes.
« Dans le monde réel, cependant, les ingénieurs logiciels travaillent sur l’ensemble de la pile technologique et doivent raisonner sur des interactions et des compromis complexes entre les bases de code », ont-ils déclaré.
Le jeu de données de SWE-Lancer est disponible sur GitHub. Il fournit aux chercheurs des éclairages sur le rôle en constante évolution de l’IA dans le développement logiciel.