Nvidia nimmt die ausufernden Kosten ständig aktiver KI-Agenten mit einem schnellen, offenen Modell mit 30 Milliarden Parametern und einem Routing-Tool ins Visier, das verschiedene Teile einer Aufgabe je nach Leistungsfähigkeit, Kosten und Latenz an unterschiedliche Modelle weiterleitet.
Der Chiphersteller stellte am Dienstag Nemotron 3.5 Lightning, ein offenes KI-Modell, und NeMo Switchyard vor, eine Open-Source-Routing-Bibliothek für Unternehmen, die autonome KI-Agenten auf lokalen Systemen, in Rechenzentren und Cloud-Umgebungen entwickeln.
Nemotron 3.5 Lightning ist ein Mixture-of-Experts-Modell mit 30 Milliarden Parametern, von denen 3 Milliarden aktiv sind, und wurde für umfangreiche Aufgaben innerhalb größerer Agentensysteme entwickelt. Nvidia erklärte , dass das Modell eine bis zu viermal höhere Ausgabegeschwindigkeit als ähnlich große Modelle erreicht. Auf PinchBench erzielte es eine Genauigkeit von 86 %, während es 10.000 Aufgaben 30 % schneller als Qwen3.6 35B bei vergleichbarer Genauigkeit erledigte.
Die Veröffentlichung ist Nvidias erstes Open-Source-KI-Modell, seit CEO Jensen Huang öffentlich dafür plädierte, dass offene KI-Modelle weithin verfügbar bleiben sollten in den Vereinigten Staaten.
Anfragen an das richtige Modell weiterleiten
Zusammen mit dem Modell veröffentlichte Nvidia NeMo Switchyard, eine Open-Source-Routing-Bibliothek, die Anfragen, Workflow-Phasen oder Sitzungen je nach Faktoren wie Leistungsfähigkeit, Latenz und Kosten an unterschiedliche Modelle weiterleiten kann.
Das Unternehmen erklärte, dass Firmen Switchyard mit einer Kombination aus offenen, proprietären und Nvidia-Modellen einsetzen können, ohne bestehende Anwendungen neu schreiben zu müssen. Von Nvidia angeführte interne Benchmarks zeigen, dass die Software eine Genauigkeit auf Frontier-Niveau beibehalten und gleichzeitig die Kosten für die Erledigung von Aufgaben auf etwa ein Drittel der Kosten der alleinigen Nutzung von Anthropic’s Opus 4.8 senken kann.
Nvidia zufolge haben Unternehmen wie CrowdStrike, Harvey, CodeRabbit, Ramp, LangChain und Cognition die neuen Tools getestet oder in ihre KI-Workflows integriert.
Warum Nvidia auf offene KI setzt
Die Ankündigung erfolgt zu einem Zeitpunkt, an dem sich der Wettbewerb rund um Open-Source-KI verschärft. Meta hat diese Woche ein neues offenes Codierungsmodell veröffentlicht, während chinesische KI-Entwickler den Leistungsabstand zu führenden US-Systemen rasch verkleinert haben.
Nvidia positioniert sich zunehmend als wichtiger Befürworter offener Modelle. „Offene Modelle stärken Sicherheit und Cybersicherheit, beschleunigen Innovation und Verbreitung und ermöglichen Souveränität“, schrieb Huang kürzlich in einer öffentlichen Stellungnahme.
Auch der geschäftliche Anreiz für das Unternehmen liegt auf der Hand: Kostenlose KI-Modelle benötigen für ihren Betrieb weiterhin leistungsfähige Hardware. Wie Huang letzten Monat gegenüber Axios erklärte, „kostenlose KI sollte gut für Hardware sein. Kostenlose KI sollte gut für Chips sein.“
Der Kompromiss für Unternehmen
In der Praxis geht es weniger darum, ein einzelnes bestes Modell zu finden, als vielmehr darum, ein KI-System zu entwickeln, das weiß, wann es welches Modell einsetzen sollte.
Das könnte Switchyard für Unternehmen wertvoll machen, die komplexe Agenten betreiben, insbesondere wenn Routineanfragen einen großen Teil der Arbeitslast ausmachen. Nvidias Angaben zu Leistung und Kosten basieren jedoch größtenteils auf eigenen Benchmarks oder Tests von Partnern. Käufer sollten daher Einsparungen und Genauigkeit anhand ihrer eigenen Arbeitslasten überprüfen, bevor sie bestehende Modelle ersetzen.
Lightning wird nicht als allgemeines Frontier-Modell positioniert. Seine Stärke liegt in der effizienten, anpassbaren Ausführung, weshalb der Unterschied zwischen seinen insgesamt 30 Milliarden Parametern und 3 Milliarden aktiven Parametern besonders wichtig ist.
Nemotron 3.5 Lightning ist über Hugging Face, ModelScope, OpenRouter und die Plattformen von Nvidia verfügbar, während NeMo Switchyard auf GitHub erhältlich ist.
Weiterlesen: Erfahren Sie, wie KI-Agenten planen, Tools nutzen und Aufgaben koordinieren, und wie Nvidias neue Veröffentlichungen diese Workflows schneller und kostengünstiger machen könnten.