L’enthousiasme autour de l’IA générative a entraîné la création d’un grand nombre de start-up spécialisées dans l’IA et alimente des investissements massifs qui, selon Goldman Sachs, dépasseront 1 000 milliards de dollars US au cours des prochaines années. Amazon est la dernière entreprise en date à joindre le geste à la parole, en annonçant un investissement de 110 millions de dollars US dans l’IA générative pour financer le programme Build on Trainium. Build on Trainium fournira des heures de calcul aux chercheurs afin qu’ils puissent concevoir, expérimenter et créer de nouvelles architectures d’IA, des bibliothèques d’apprentissage automatique (ML) et des optimisations de performances conçues pour des systèmes distribués à grande échelle AWS Trainium UltraClusters. Les Trainium UltraClusters sont essentiellement des ensembles d’accélérateurs d’IA basés dans le cloud, qui peuvent être unifiés au sein d’un même système pour traiter des tâches de calcul extrêmement complexes.
À base de puces AWS Trainium
La puce AWS Trainium est conçue pour l’entraînement et l’inférence des modèles d’apprentissage profond. Toutes les avancées en IA issues de cet investissement d’Amazon dans l’IA générative seront largement accessibles sous forme de solutions open source. Les chercheurs peuvent accéder au Trainium research UltraCluster, qui comprend jusqu’à 40 000 puces Trainium optimisées pour les charges de travail liées à l’IA — une puissance de calcul bien supérieure à ce qu’ils pourraient espérer financer ou assembler localement au sein d’établissements universitaires.
Comme les ressources de calcul haute performance, les unités de traitement graphique (GPU) et les autres éléments de l’arsenal de l’IA ne sont pas bon marché, les contraintes budgétaires pourraient ralentir les progrès de l’IA. Cet investissement d’Amazon dans l’IA aidera certains étudiants et chercheurs universitaires à surmonter ces contraintes. Le groupe de recherche Catalyst de la Carnegie Mellon University (CMU), à Pittsburgh, en Pennsylvanie, en est un exemple : il utilise Build on Trainium pour étudier et développer des systèmes de ML, ainsi que des optimisations de compilateurs pour l’IA.
« L’initiative Build on Trainium d’AWS permet à nos enseignants et à nos étudiants d’accéder à grande échelle à des accélérateurs modernes, tels qu’AWS Trainium, grâce à un modèle de programmation ouvert », a déclaré Todd C. Mowry, professor of computer science à la CMU. « Elle nous permet de développer considérablement nos recherches sur la compilation de programmes tensoriels, la parallélisation du ML et le déploiement et le réglage de modèles de langage. »
Pour accélérer la trajectoire de l’innovation en IA, Amazon investit également dans ses propres technologies afin de faciliter la vie des chercheurs. Par exemple, son Neuron Kernel Interface (NKI) simplifie considérablement l’accès direct aux jeux d’instructions AWS Trainium. Les chercheurs peuvent rapidement créer des unités de calcul optimisées dans le cadre de leurs nouveaux modèles et grands modèles de langage (LLM). L’une des premières avancées auxquelles on peut s’attendre est l’apparition de LLM plus ciblés et de plus petite taille.
« Les LLM de petite taille conçus pour des usages précis répondront à des cas d’utilisation spécifiques de l’IA générative et de l’IA agentique », a déclaré Kevin Cochrane, CMO du fournisseur d’infrastructure cloud Vultr. « L’année 2025 verra une attention accrue portée à l’adéquation entre les charges de travail d’IA et les ressources de calcul optimales, ce qui stimulera une demande exponentielle pour des GPU spécialisés. »