-3.png?w=1024)
ByteDance entraînerait un modèle d’IA pouvant atteindre 10 000 milliards de paramètres, ce qui témoigne d’une nette accélération des ambitions de la maison mère de TikTok dans le domaine de l’intelligence artificielle de pointe.
Selon le Financial Times, le modèle est toujours en phase de préentraînement et sa taille définitive n’a pas encore été déterminée. S’il atteint l’échelle annoncée, il figurera parmi les plus grands modèles d’IA jamais développés.
S’il atteint l’échelle annoncée, le système serait plus de trois fois plus grand que Kimi K3 de Moonshot AI, actuellement le plus grand modèle chinois rendu public, avec 2 800 milliards de paramètres. Les estimations du secteur situent le modèle avancé Mythos 5 d’Anthropic autour de 8 000 milliards de paramètres, même si Anthropic ne publie pas de décompte officiel.
ByteDance mise sur sa propre technologie
Le projet serait dirigé par Seed, l’équipe de recherche en IA de ByteDance, placée sous la direction de Wu Yonghui, ancien scientifique de Google DeepMind. L’équipe compte environ 2 000 membres en Chine et à l’étranger.
Un aspect notable de la stratégie est la décision annoncée de ByteDance d’éviter la distillation de modèles — une pratique qui consiste à entraîner un modèle à partir des résultats du système d’IA d’une autre entreprise. Selon le Financial Times, la direction de ByteDance estime que le développement indépendant est la seule voie pour créer un modèle capable de dépasser ses rivaux.
Le fondateur Zhang Yiming aurait renforcé cette approche lors d’une récente réunion interne, en demandant à l’équipe de Seed de viser à long terme des « capacités de modèle de premier plan mondial », selon le Financial Times.
La course à l’IA s’accélère en Chine
Cette initiative annoncée intervient alors que les entreprises chinoises spécialisées dans l’IA redoublent d’efforts pour rattraper les grands laboratoires américains comme Anthropic et OpenAI. Les modèles récents de Moonshot et d’Alibaba ont obtenu de solides résultats dans les évaluations de référence, et plusieurs entreprises chinoises travailleraient sur des systèmes de l’ordre de 5 000 milliards de paramètres.
ByteDance a conservé un profil plus discret que nombre de ses concurrents chinois, car la plupart de ses modèles d’IA sont fermés plutôt qu’à poids ouverts. Son chatbot Doubao compte environ 324 millions d’utilisateurs actifs mensuels en Chine, tandis que son modèle de génération vidéo SeeDance est considéré comme l’un des plus performants de sa catégorie.
L’entreprise a également beaucoup investi dans les infrastructures d’IA, en développant ses centres de données, en recrutant des chercheurs, en faisant croître ses activités d’IA pour les entreprises par l’intermédiaire de Volcano Engine et en développant des puces d’IA sur mesure.
Ce que cela pourrait signifier
L’importance du projet annoncé tient moins au chiffre brut qu’à ce qu’il révèle. Entraîner un modèle de cette taille nécessiterait d’énormes ressources informatiques, des infrastructures spécialisées et un engagement de long terme dans la recherche en IA de pointe.
Le nombre de paramètres ne détermine pas à lui seul les capacités d’un modèle d’IA. Les performances dépendent également des données d’entraînement, de l’architecture, des méthodes d’optimisation et de l’efficacité avec laquelle le modèle utilise ses paramètres. Un système de 10 000 milliards de paramètres pourrait malgré tout être moins performant qu’un modèle plus petit, mais mieux entraîné.
Si ByteDance réussit, ce modèle pourrait offrir à l’entreprise une base plus solide pour ses produits dans l’IA grand public, la génération vidéo et les services aux entreprises. Plus largement, il renforcerait une tendance qui transforme déjà le secteur : les entreprises technologiques chinoises sont de plus en plus disposées à investir à l’échelle de la frontière technologique, plutôt qu’à simplement suivre les plus grands laboratoires américains.
Autres actualités : le PDG de Hugging Face, Clément Delangue, a déclaré que la Chine est déjà en tête dans le domaine de l’IA à poids ouverts et pourrait prendre un avantage plus large dans les modèles de pointe, à mesure que les développeurs chinois s’appuient plus ouvertement sur les travaux des uns et des autres.