Zhipu AI, ein 2019 gegründetes chinesisches KI-Start-up, hat kürzlich seinen kostenlosen KI-Agenten für die breite Öffentlichkeit veröffentlicht. Die unter dem Namen AutoGLM Rumination bekannte neue Lösung, die bereits staatlich unterstützte Fördermittel in Millionenhöhe erhalten hat, sorgt in der gesamten Branche für Schlagzeilen.
Was ist AutoGLM Rumination?
AutoGLM Rumination ist einer der neuesten KI-Agenten auf dem Verbrauchermarkt. Er kann sowohl einfache Websuchen als auch anspruchsvollere Rechercheaufgaben durchführen. Zu den aktuellen Einsatzmöglichkeiten von AutoGLM Rumination gehören das technische Schreiben und die Reiseplanung.
Der KI-Agent wird von zwei proprietären großen Sprachmodellen (LLMs) von Zhipu AI angetrieben: GLM-4-Air-0414 und GLM-Z1-Air. Um zu beurteilen, wie diese LLMs im Vergleich zu konkurrierenden Modellen abschneiden, ist es unerlässlich, die verfügbaren Benchmark-Daten zu untersuchen.
Die Konkurrenz anhand von Benchmarks einschätzen
Obwohl die Entwickler von Zhipu AI erst seit wenigen Jahren aktiv sind, haben sie ambitionierte Aussagen zur Leistungsfähigkeit ihrer generativen KI-Tools gemacht. Die Entwickler behaupten, GLM-Z1-Air sei achtmal schneller als DeepSeek-R1; Berichten zufolge erreicht das Modell dies bei Verwendung eines Bruchteils der Rechenleistung.
Eine im Juni 2024 veröffentlichte Forschungsarbeit zeigt, dass das jüngste LLM von Zhipu AI, GLM-4, OpenAIs GPT-4 bei zahlreichen Benchmarks tatsächlich übertrifft. Die Autoren der Arbeit erklärten, GLM-4 „kommt GPT-4 bei allgemeinen Messwerten wie MMLU, GSM8K, MATH, BBH, GPQA und HumanEval sehr nahe oder übertrifft es“.
Allerdings schneidet es in bestimmten Bereichen im Vergleich zu anderen Arten von KI-Modellen wie Claude 2, Claude 3 Opus, Gemini 1.5 Pro und GPT-4 Turbo schlechter ab. Bei der Programmierung in Python und Java ist GLM-4 beispielsweise das einzige Modell von Zhipu AI, das gut genug abschneidet, um ernsthaft Konkurrenz zu bieten – und selbst dieses Modell liegt beim NaturalCodeBench hinter den Spitzenmodellen zurück.
Während GLM-4 bei vielen Benchmarks von LongBench-Chat führend ist, schnitten GLM-4-Air und GLM-4-9B-Chat nicht ganz so gut ab. Beide hatten Schwierigkeiten, bei den englischsprachigen Benchmarks mit der Konkurrenz Schritt zu halten, doch alle drei schnitten bei den chinesischsprachigen Tests gut ab.
Beiträge zur Open-Source-Community
Zhipu AI hat zahlreiche Beiträge zur Open-Source-KI-Community geleistet und für frühere Veröffentlichungen mehr als 10 Millionen Downloads verzeichnet. Dazu gehören:
- ChatGLM-6B
- GLM-4-9B
- GLM-4V-9B
- WebGLM
- CodeGeeX
Trotz der zahlreichen KI-Start-ups, die mit eigenen Lösungen auf den Markt drängen, machen die Entwickler von Zhipu AI bereits auf sich aufmerksam. AutoGLM Rumination ist lediglich das jüngste Produkt in einer Reihe KI-gestützter Anwendungen, und wir werden in naher Zukunft wahrscheinlich noch mehr von Zhipu AI hören.