.jpg?w=1024)
L’un des plus grands modèles d’IA à poids ouverts au monde se rapproche du centre de données des entreprises.
Kimi K3 de Moonshot AI est désormais disponible via Dell Enterprise Hub et le moteur d’inférence de DigitalOcean, offrant aux entreprises de nouvelles options pour déployer le modèle sur site ou y accéder via une infrastructure cloud managée. Moonshot AI indique que Kimi K3 contient 2,8 billions de paramètres, utilise une architecture à mélange d’experts et prend en charge une fenêtre de contexte pouvant atteindre un million de jetons.
Ces deux intégrations illustrent une évolution plus large de l’IA pour entreprises : les entreprises veulent de plus en plus accéder à des modèles puissants sans être enfermées dans une API propriétaire ou un environnement de déploiement unique.
Comment Dell et DigitalOcean proposent Kimi K3
Dell Enterprise Hub permet aux clients de déployer Kimi K3 sur des infrastructures Dell compatibles, à l’aide de logiciels conteneurisés obtenus via Hugging Face. Dell précise que les conteneurs sont optimisés pour certains systèmes de déploiement et accompagnés de hachages d’image SHA-384 ainsi que des résultats d’analyses antimalware.
Le moteur d’inférence de DigitalOcean adopte une approche cloud. Les développeurs peuvent accéder à Kimi K3 via son service d’inférence serverless sans provisionner l’infrastructure sous-jacente, ou déployer le modèle au moyen d’une configuration cloud personnalisée.
Ensemble, ces intégrations offrent aux entreprises le choix entre conserver le modèle au sein d’une infrastructure qu’elles contrôlent et utiliser un service managé pour accélérer le développement fondé sur des API.
Cette flexibilité intervient alors que les modèles d’IA chinois gagnent du terrain auprès des entreprises américaines sur OpenRouter, remettant en cause l’idée selon laquelle les charges de travail d’IA des entreprises resteront concentrées chez les fournisseurs de modèles américains.
Pourquoi le déploiement local peut séduire les entreprises
Le déploiement local peut intéresser les organisations qui traitent des informations financières, de la propriété intellectuelle, du code source propriétaire ou d’autres données sensibles. Exécuter Kimi K3 sur une infrastructure contrôlée par l’organisation pourrait réduire la nécessité d’envoyer ces informations à un fournisseur de modèles externe.
Les poids ouverts peuvent également offrir aux équipes de développement davantage de visibilité et d’options de personnalisation qu’un modèle fermé accessible exclusivement via une API. Toutefois, la souveraineté des données dépend toujours de la manière dont sont configurés le modèle, les logiciels qui l’accompagnent, la télémétrie et l’accès réseau.
Ces considérations gagnent en importance à mesure que les modèles chinois à poids ouverts passent de l’expérimentation par les développeurs aux achats des entreprises.
La taille de Kimi K3 s’accompagne toujours d’exigences en matière d’infrastructure
Malgré ses 2,8 billions de paramètres au total, Kimi K3n’active qu’une partie du modèle pour chaque requête. Moonshot AI indique que le modèle utilise environ 104 milliards de paramètres actifs et mobilise 16 de ses 896 experts grâce à son architecture à mélange d’experts.
Cette conception peut réduire les besoins en inférence par rapport à l’activation de chaque paramètre, mais elle ne rend pas le modèle léger pour autant. Les entreprises auraient toujours besoin d’importantes capacités de stockage, de mémoire et d’accélération pour l’exécuter localement.
Moonshot AI propose également des poids quantifiés qui réduiraient, selon les informations disponibles, l’empreinte de stockage du modèle d’environ 5,6 To à 1,56 To, soit une réduction d’environ 72 %. La quantification peut faciliter le stockage et l’exécution des grands modèles, même si ses effets sur la précision et les performances dépendent de sa mise en œuvre.
La place des modèles à poids ouverts aux côtés de l’IA propriétaire
L’arrivée de Kimi K3 chez Dell et DigitalOcean offre aux entreprises une autre solution que les services d’IA propriétaires, mais elle ne rend pas les modèles ouverts et fermés interchangeables. Les performances peuvent varier selon le benchmark et la charge de travail, tandis que le coût du déploiement, les exigences de gouvernance, la personnalisation et les contrôles des données peuvent compter autant que les scores bruts du modèle.
Ihab Tarazi, directeur technique et vice-président senior de Dell Technologies, a estimé dans un billet de blog de l’entreprise que les entreprises devaient dépasser le simple débat « ouvert contre propriétaire ». Il a plutôt présenté ces deux approches comme répondant à des exigences différentes en matière de charges de travail, de gouvernance, de performances et de déploiement.
Dell n’est pas la seule entreprise à présenter les modèles à poids ouverts comme un élément d’un écosystème d’IA mixte. Nvidia et Microsoft ont récemment rejoint d’autres entreprises technologiques pour soutenir le maintien de l’accès à l’IA à poids ouverts.
L’accessibilité croissante de Kimi K3 laisse penser que la concurrence dans l’IA pour entreprises se jouera de plus en plus sur autre chose que les résultats des benchmarks. L’endroit où un modèle peut fonctionner, le niveau de contrôle qu’il offre aux clients et l’infrastructure dont il a besoin pourraient s’avérer tout aussi importants que ses capacités brutes.