Les développeurs ont commencé à rechercher de nouvelles méthodes d’entraînement de l’IA, les modèles récents affichant des rendements de plus en plus faibles. Selon des rapports récents, les modèles conçus au sein des principaux laboratoires d’IA progressent moins rapidement qu’auparavant, ce qui pousse les développeurs à s’interroger sur la validité des lois de mise à l’échelle de l’IA pour l’entraînement des modèles. Améliorer l’entraînement des modèles implique de repenser les stratégies qui orientent notre compréhension de l’intelligence artificielle et de l’amélioration des modèles.
Au cours des cinq dernières années, les développeurs sont partis du principe que le préentraînement des modèles avec davantage de capacités de calcul et de données permettrait d’obtenir des capacités d’IA. Cependant, des rapports récents font état d’un ralentissement des progrès des modèles d’IA, y compris dans les principaux laboratoires d’IA. Le modèle d’IA Gemini de Google n’a pas permis d’obtenir de gains de performance, et Anthropic a rencontré des problèmes de développement qui ont entraîné le report de la sortie de son modèle d’IA Claude 3.5 Opus. De même, le modèle Orion d’OpenAI ne répond pas aux attentes en matière d’amélioration du codage et n’a bénéficié que de quelques améliorations inédites par rapport aux modèles précédents.
Alors que les modèles affichent des taux d’amélioration en baisse et des rendements décroissants, les développeurs d’IA pourraient être contraints d’entrer dans une nouvelle ère de méthodes d’entraînement des modèles.
Le problème des lois de mise à l’échelle de l’IA
Les évolutions récentes des modèles d’IA montrent que les laboratoires d’IA ne peuvent pas compter uniquement sur l’ajout de données et de puissance de calcul pour produire des modèles plus performants. Cette situation constitue un défi pour les laboratoires qui ont fait des lois traditionnelles de mise à l’échelle de l’IA un facteur clé de leurs activités de développement de modèles. Si les premières versions des modèles produits par des développeurs comme OpenAI, Meta, Anthropic et Google ont gagné en performance grâce à l’association d’un plus grand nombre de GPU et de volumes de données plus importants, ces méthodes ne peuvent à elles seules soutenir une croissance exponentielle.
Les lois de mise à l’échelle de l’IA avaient également contribué à faire naître des attentes quant au potentiel d’amélioration apparemment illimité de cette technologie. Les principales entreprises d’IA ont réalisé des investissements considérables dans le développement des modèles et formulé des déclarations optimistes sur l’avenir de l’IA, reflétant les retombées attendues de ces technologies. En réaction, les développeurs mettent en œuvre de nouvelles stratégies d’entraînement pour rester compétitifs alors que nous entrons dans la prochaine ère des lois de mise à l’échelle de l’IA.
De nouvelles stratégies d’entraînement pour accélérer le rythme
Les laboratoires d’IA s’activent pour améliorer les modèles grâce à de nouvelles méthodes de mise à l’échelle. Parmi les stratégies récemment privilégiées figure le « calcul au moment du test », une technique d’entraînement qui accorde aux modèles davantage de temps de calcul afin de produire une réponse à des questions nécessitant une réflexion approfondie. Un article récent publié par des chercheurs du MIT montre que le calcul au moment du test améliore considérablement les performances des modèles dans les tâches de raisonnement.
Les développeurs continueront probablement d’utiliser les méthodes traditionnelles, comme l’emploi de jeux de données plus pertinents et de grappes de calcul plus puissantes. Toutefois, la demande en puces d’inférence rapide pourrait augmenter si la stratégie du calcul au moment du test devient la prochaine méthode d’entraînement de référence. Quel que soit l’avenir du développement de l’IA, l’enthousiasme général autour de son potentiel reste positif, alors que les laboratoires d’IA rivalisent pour produire la prochaine référence du secteur des modèles d’IA.