.jpg?w=1024)
Eines der weltweit größten KI-Modelle mit offenen Gewichten rückt näher an die Rechenzentren von Unternehmen heran.
Moonshot AIs Kimi K3 ist jetzt über Dell Enterprise Hub und die Inference Engine von DigitalOcean verfügbar. Damit erhalten Unternehmen neue Möglichkeiten, das Modell lokal bereitzustellen oder über eine verwaltete Cloud-Infrastruktur darauf zuzugreifen. Moonshot AI zufolge enthält Kimi K3 2,8 Billionen Parameter, nutzt eine Mixture-of-Experts-Architektur und unterstützt ein Kontextfenster von bis zu einer Million Token.
Die beiden Integrationen spiegeln einen umfassenderen Wandel bei Unternehmens-KI wider: Unternehmen wollen zunehmend auf leistungsfähige Modelle zugreifen, ohne dabei an eine proprietäre API oder eine einzige Bereitstellungsumgebung gebunden zu sein.
Wie Dell und DigitalOcean Kimi K3 anbieten
Dell Enterprise Hub ermöglicht Kunden die Bereitstellung von Kimi K3 auf unterstützter Dell-Infrastruktur mithilfe von über Hugging Face bezogener containerisierter Software. Dell erklärte, die Container seien für ausgewählte Bereitstellungssysteme optimiert und würden von SHA-384-Image-Hashes sowie Ergebnissen von Malware-Scans begleitet.
Die Inference Engine von DigitalOcean verfolgt einen cloudbasierten Ansatz. Entwickler können über den serverlosen Inferenzdienst auf Kimi K3 zugreifen, ohne die zugrunde liegende Infrastruktur bereitstellen zu müssen, oder das Modell mithilfe einer individuell konfigurierten Cloud-Umgebung einsetzen.
Zusammen bieten die Integrationen Unternehmen die Wahl, das Modell in einer von ihnen kontrollierten Infrastruktur zu betreiben oder für eine schnellere API-basierte Entwicklung einen verwalteten Dienst zu nutzen.
Diese Flexibilität entsteht zu einem Zeitpunkt, an dem chinesische KI-Modelle bei US-Unternehmen auf OpenRouter zunehmend an Bedeutung gewinnen und damit die Annahme infrage stellen, dass Workloads im Bereich Unternehmens-KI weiterhin auf US-amerikanische Modellanbieter konzentriert bleiben.
Warum die lokale Bereitstellung für Unternehmen attraktiv sein könnte
Die lokale Bereitstellung könnte für Organisationen attraktiv sein, die Finanzinformationen, geistiges Eigentum, proprietären Quellcode oder andere sensible Daten verarbeiten. Wird Kimi K3 auf einer von der Organisation kontrollierten Infrastruktur betrieben, könnte dies die Notwendigkeit verringern, diese Informationen an einen externen Modellanbieter zu übermitteln.
Offene Gewichte können Entwicklungsteams zudem mehr Einblick und Anpassungsmöglichkeiten bieten als ein geschlossenes Modell, auf das ausschließlich über eine API zugegriffen wird. Die Datensouveränität hängt jedoch weiterhin davon ab, wie das Modell, die unterstützende Software, die Telemetrie und der Netzwerkzugriff konfiguriert sind.
Diese Überlegungen werden immer wichtiger, da chinesische Modelle mit offenen Gewichten den Schritt vom Experimentieren durch Entwickler in die Beschaffung durch Unternehmen vollziehen.
Die Größe von Kimi K3 bringt weiterhin hohe Infrastrukturanforderungen mit sich
Trotz seiner insgesamt 2,8 Billionen Parameter aktiviert Kimi K3 für jede Anfrage nur einen Teil des Modells. Moonshot AI zufolge nutzt das Modell rund 104 Milliarden aktive Parameter und aktiviert im Rahmen seiner Mixture-of-Experts-Architektur 16 seiner 896 Experten.
Dieses Design kann die Inferenzanforderungen im Vergleich zur Aktivierung aller Parameter reduzieren, macht das Modell jedoch nicht schlank. Unternehmen benötigen weiterhin beträchtliche Speicher-, Arbeitsspeicher- und Beschleunigerkapazitäten, um es lokal zu betreiben.
Moonshot AI bietet außerdem quantisierte Gewichte an, die den Speicherbedarf des Modells Berichten zufolge von etwa 5,6 TB auf 1,56 TB reduzieren – eine Verringerung um rund 72 %. Quantisierung kann die Speicherung und Ausführung großer Modelle erleichtern, ihre Auswirkungen auf Genauigkeit und Leistung hängen jedoch von der jeweiligen Implementierung ab.
Welchen Platz Modelle mit offenen Gewichten neben proprietärer KI einnehmen
Die Verfügbarkeit von Kimi K3 auf Dell und DigitalOcean bietet Unternehmen eine weitere Alternative zu proprietären KI-Diensten, macht offene und geschlossene Modelle jedoch nicht austauschbar. Die Leistung kann je nach Benchmark und Workload variieren, während Bereitstellungskosten, Governance-Anforderungen, Anpassungsmöglichkeiten und Datenkontrollen ebenso wichtig sein können wie die reinen Modellwerte.
Ihab Tarazi, Chief Technology Officer und Senior Vice President bei Dell Technologies, argumentierte in einem Blogbeitrag des Unternehmens, dass Unternehmen über eine einfache Debatte zwischen „offen und proprietär“ hinausgehen sollten. Stattdessen beschrieb er die beiden Ansätze als Lösungen für unterschiedliche Anforderungen an Workloads, Governance, Leistung und Bereitstellung.
Dell ist nicht das einzige Unternehmen, das Modelle mit offenen Gewichten als Teil eines gemischten KI-Ökosystems einordnet. Nvidia und Microsoft haben sich kürzlich anderen Technologieunternehmen angeschlossen, die den weiteren Zugang zu KI mit offenen Gewichten unterstützen.
Die zunehmende Verfügbarkeit von Kimi K3 deutet darauf hin, dass der Wettbewerb um Unternehmens-KI künftig zunehmend durch mehr als nur Benchmark-Ergebnisse entschieden wird. Wo ein Modell ausgeführt werden kann, wie viel Kontrolle es Kunden gibt und welche Infrastruktur es benötigt, könnte sich als ebenso wichtig erweisen wie seine reinen Fähigkeiten.