Das in Shenzhen, China, ansässige Team von Tencent hat kürzlich seine neue KI-Plattform namens Hunyuan Turbo S vorgestellt. Tencent hofft, dass seine generative KI-Plattform als speziell für die Konkurrenz mit DeepSeek entwickelte Lösung – ebenfalls ein Produkt eines chinesischen KI-Unternehmens – dazu beitragen wird, unter den führenden KI-Unternehmen der Welt Anerkennung zu finden.
Hunyuan Turbo S kann laut dem Unternehmen und einem Bericht von Reuters innerhalb einer Sekunde auf Eingaben und Anfragen von Nutzern reagieren und ist damit sogar schneller als DeepSeek-R1. Wir haben jedoch keine Geschwindigkeits-Benchmarks gefunden, die Tencents Behauptung bestätigen.
Wie Hunyuan Turbo S in den Benchmarks im Vergleich zur Konkurrenz abschneidet
Laut von Tencent bereitgestellten und von WinBuzzer berichteten Benchmarks liegt Hunyuan Turbo S in verschiedenen Bereichen vor vielen Konkurrenten. Die folgenden Benchmarks werden häufig verwendet, um Funktionalität, Effizienz und Genauigkeit großer Sprachmodelle (LLMs) zu bewerten.
- Chinesisch: Hunyuan Turbo S belegt bei den von CMMLU durchgeführten Benchmarks für die chinesische Sprache den ersten Platz, während DeepSeek-R1-Zero bei den Benchmarks von C-Eval führend ist.
- Abstimmung: Obwohl Hunyuan Turbo S bei den Benchmarks von LiveBench GPT-4o, Claude 3.5, Llama 3.1 und DeepSeek-V3 übertrifft, liegt es bei den Benchmarks von IF-Eval geringfügig hinter Claude 3.5 zurück.
Zu den Schwächen von Hunyuan Turbo S gehören unter anderem:
- Mathematik: Hunyuan Turbo S übertrifft GPT-4o, Claude 3.5, Llama 3.1 und DeepSeek-V3 in einigen Benchmarks, aber DeepSeek-R1-Zero liegt laut den Bewertungen von AIME 2024 und MATH vor allen anderen.
- Wissen: Hunyuan Turbo S schneidet bei den meisten Wissens-Benchmarks ziemlich gut ab, reicht bei den Benchmarks von MMLU, MMLU-Pro und SimpleQA jedoch nicht ganz an DeepSeek-R1-Zero heran.
- Schlussfolgerungen: Hunyuan Turbo S belegt bei den Schlussfolgerungs-Benchmarks von BBH mit dem dritthöchsten Ergebnis hinter GPT-4o und Claude 3.5 nur den dritten Platz.
- Programmierung: Während Hunyuan Turbo S bei HumanEval in Bezug auf Programmierfähigkeiten direkt hinter Claude liegt, fällt es bei den Ergebnissen von LiveCodeBench etwas weiter hinter DeepSeek-V3, DeepSeek-R1-Zero und GPT-4o zurück.
Obwohl Hunyuan Turbo S in bestimmten Fällen der klare Sieger ist, liegt es in mehreren Bereichen weiterhin hinter DeepSeek-R1-Zero zurück.
Ein starker Konkurrent im KI-Wettlauf
Tencents neue Plattform Hunyuan Turbo S festigt die Position des chinesischen Technologieriesen im Wettlauf um die Entwicklung der schnellsten und leistungsfähigsten KI-Plattform. Zwar ist dies nicht Tencents erster Vorstoß in die Welt generativer KI-Tools, aber der bisher bemerkenswerteste Beitrag des Unternehmens – und sicherlich einer, den man in den kommenden Wochen, Monaten und Jahren im Auge behalten sollte.