Zhipu AI, une start-up chinoise spécialisée dans l’IA fondée en 2019, a récemment lancé son agent IA gratuit auprès du grand public. Baptisée AutoGLM Rumination, cette nouvelle solution, qui a déjà obtenu plusieurs millions de dollars de financements soutenus par les pouvoirs publics, fait les gros titres dans tout le secteur.
Qu’est-ce qu’AutoGLM Rumination ?
AutoGLM Rumination est l’un des agents IA les plus récents agents IA à faire son entrée sur le marché grand public. Il est capable d’effectuer des recherches web basiques ainsi que des tâches de recherche plus avancées. Parmi les utilisations actuelles d’AutoGLM Rumination figurent la rédaction technique et la planification de voyages.
L’agent IA repose sur deux grands modèles de langage (LLM) propriétaires de Zhipu AI : GLM-4-Air-0414 et GLM-Z1-Air. Pour évaluer ces LLM par rapport aux modèles concurrents, il est essentiel d’examiner les données de référence disponibles.
Évaluer la concurrence au moyen de tests de référence
Bien qu’ils ne soient en activité que depuis quelques années, les développeurs de Zhipu AI ont formulé des affirmations ambitieuses concernant les performances de leurs outils d’IA générative. Les développeurs affirment que GLM-Z1-Air est huit fois plus rapide que DeepSeek-R1 ; il y parviendrait tout en n’utilisant qu’une fraction de la puissance de calcul.
Un article de recherche publié en juin 2024 montre que le LLM le plus récent de Zhipu AI, GLM-4, surpasse effectivement le GPT-4 d’OpenAI dans de nombreux tests de référence. Les auteurs de l’article ont déclaré que GLM-4 « rivalise étroitement avec GPT-4 ou le surpasse en termes de métriques générales telles que MMLU, GSM8K, MATH, BBH, GPQA et HumanEval ».
Cependant, il fait moins bien que d’autres types de modèles d’IA, tels que Claude 2, Claude 3 Opus, Gemini 1.5 Pro et GPT-4 Turbo, dans certains domaines. En programmation Python et Java, par exemple, GLM-4 est le seul modèle de Zhipu AI à obtenir un score suffisamment élevé pour constituer une véritable concurrence — et même lui reste à la traîne des meilleurs modèles sur NaturalCodeBench.
Alors que GLM-4 arrive en tête de nombreux tests de référence sur LongBench-Chat, GLM-4-Air et GLM-4-9B-Chat n’ont pas obtenu d’aussi bons résultats. Tous deux ont eu du mal à suivre la concurrence dans les tests de référence en anglais, mais les trois modèles ont bien réussi les tests en chinois.
Une contribution à la communauté open source
Zhipu AI a largement contribué à la communauté de l’IA open source et ses précédentes versions ont cumulé plus de 10 millions de téléchargements. Parmi celles-ci figurent :
- ChatGLM-6B
- GLM-4-9B
- GLM-4V-9B
- WebGLM
- CodeGeeX
Malgré l’arrivée sur le marché de nombreuses start-up spécialisées dans l’IA avec leurs propres solutions, les développeurs de Zhipu AI commencent déjà à se faire remarquer. AutoGLM Rumination n’est que le dernier-né d’une gamme de produits pilotés par l’IA, et nous devrions probablement entendre davantage parler de Zhipu AI dans un avenir proche.