Die richtige Umgebung zur Ausführung von KI-Workloads: neue Ansätze für die Workload-Verteilung in einer hybriden KI-Welt

Angesichts der zunehmenden Verbreitung von KI müssen Unternehmen bewusste Entscheidungen darüber treffen, wo Modelle trainiert, optimiert und für Inferenz ausgeführt werden – und wie diese Workloads in der Unternehmensinfrastruktur verteilt werden. Bei hybriden KI-Strategien werden die KI-Workloads über Rechenzentren, Cloud-Plattformen und Edge-Umgebungen verteilt, um Leistung, Skalierbarkeit, Governance und Kosten in Einklang zu bringen.

Wichtigste Erkenntnisse

• Hybride KI ermöglicht eine optimierte Workload-Platzierung: Unternehmen führen KI-Workloads je nach den Anforderungen in der On-Premise-Infrastruktur, auf Cloud-Plattformen und in Edge-Umgebungen aus.
• Training, Feinabstimmung und Inferenz erfolgen oft in verschiedenen Umgebungen: Für diese Workloads sind unterschiedliche Infrastrukturfunktionen und Leistungsmerkmale erforderlich.
• Eine Enterprise-KI-Infrastruktur umfasst mehrere Komponenten: Beschleunigte Rechenressourcen, Hochgeschwindigkeitsnetzwerke, leistungsstarker Speicher und Orchestrierungsplattformen arbeiten zusammen, um KI-Workloads zu unterstützen.
• Entscheidungen zur Workload-Verteilung hängen von mehreren Faktoren ab: Latenz, Daten-Governance, Compliance-Anforderungen und Kostentransparenz beeinflussen die Wahl der Infrastruktur.
• Integrierte Plattformen unterstützen hybride Bereitstellungen: Lösungen wie Dell AI Factory with NVIDIA kombinieren KI-Infrastruktur, KI-Software und Services zu einer einheitlichen Lösung, die in hybriden KI-Umgebungen bereitgestellt werden kann.

KI-Bereitstellungen in Unternehmensumgebungen nehmen rasant zu, aber dieses Wachstum bringt neue Herausforderungen für die Infrastruktur mit sich. Unternehmen müssen entscheiden, wo die verschiedenen KI-Workloads ausgeführt werden sollen. Modelltraining, die Verwaltung großer Datensätze und die Bereitstellung von Vorhersagen benötigen jeweils unterschiedliche Rechenumgebungen. Einige Workloads sind auf große beschleunigte Cluster angewiesen, die massive Datensätze verarbeiten können, während andere nahe bei Nutzern oder Geräten betrieben werden müssen, um schnell reagieren zu können.

Auch der Umfang der KI-Infrastruktur nimmt zu. Laut Stanford HAI 2025 AI Index Report steigt der Rechenaufwand für das Training fortgeschrittener KI-Modelle weiter an, da die Modelle immer komplexer und die Datensätze immer größer werden. Gleichzeitig erreichen Unternehmen angesichts der immer schnelleren KI-Einführung einen Wendepunkt bei der Inferenz und wechseln von der Modellentwicklung zur großflächigen Bereitstellung von KI in der Produktion. Laut Databricks State of Data + AI Report stellten Unternehmen im Vergleich zum Vorjahr 11-mal mehr KI-Modelle in der Produktion bereit – ein klares Zeichen für das rasante Wachstum von Enterprise-KI-Bereitstellungen.

Da KI-Bereitstellungen mittlerweile über die Experimentierphase hinausgehen, setzen Unternehmen zunehmend auf hybride KI-Architekturen, die Workloads über Rechenzentren, Cloud-Plattformen und Edge-Umgebungen hinweg verteilen. Dell AI Factory with NVIDIA unterstützt diesen Ansatz durch die Integration von beschleunigter Rechenleistung, Netzwerktechnologie, Speicherlösungen und KI-Software in Lösungen, die in hybriden Umgebungen bereitgestellt werden können.

Infrastrukturgrundlagen für KI-Training und -Inferenz

Groß angelegte KI-Workloads benötigen eine Infrastruktur, die sich für verteilte Rechenprozesse eignet. Das Training moderner Machine-Learning-Modelle umfasst die Verarbeitung großer Datensätze über mehrere Rechenknoten, während auf Reasoning basierte Inferenz neue Anforderungen mit sich bringt, die eine nachhaltige, mehrstufige Rechenleistung erfordern, um hochwertige Ergebnisse in der Produktion zu generieren.  

Eine Enterprise-KI-Infrastruktur umfasst in der Regel mehrere wichtige Komponenten:

• GPU-beschleunigte Rechencluster: stellen die für groß angelegte KI-Trainings- und -Inferenz-Workloads erforderliche parallele Verarbeitung bereit
• Netzwerke mit hoher Bandbreite: ermöglichen Rechenknoten den Austausch großer Datenvolumen während des verteilten Trainings
• Verteilte leistungsstarke Speichersysteme: speichern und verwalten große Datensätze, die zum Trainieren von Machine-Learning-Modellen verwendet werden
• KI-Frameworks: unterstützen die Modellentwicklung, die Durchführung von Experimenten und Trainings-Workflows
• Workload-Orchestrierungsplattformen: koordinieren verteilte Rechenumgebungen, in denen KI-Workloads ausgeführt werden

Mit diesen Komponenten lassen sich KI-Workloads auf verteilten Clustern statt auf einzelnen Servern ausführen. Da Modelle während des Trainings wiederholt Parameter zwischen Rechenknoten austauschen, sind die Netzwerkleistung und der Speicherdurchsatz von entscheidender Bedeutung.

Wenn die Modelle immer größer und Datensätze immer umfangreicher werden, nehmen auch die Infrastrukturanforderungen weiter zu. Laut NVIDIA sind KI-Trainings-Workloads aufgrund von komplexen Modellarchitekturen, Optimierungstechniken und wiederholten Trainingsiterationen äußerst ressourcenintensiv. Selbst relativ kleine Modelle, die mit begrenzten Datensätzen trainiert werden, können erhebliche Rechen-, Speicher- und Energieressourcen benötigen. Mit steigenden Anforderungen setzen Unternehmen zunehmend auf integrierte Infrastrukturplattformen, die die Bereitstellung vereinfachen und groß angelegte KI-Workloads unterstützen.

Aufbau einer Infrastruktur, die mit dem KI-Wachstum skaliert werden kann

KI-Projekte beginnen oft als experimentelle Initiativen, benötigen aber letztendlich eine Infrastruktur, die langfristige KI-Anwendungen für mehrere Teams und Geschäftsfunktionen unterstützen kann.

Ein Ansatz zur Skalierung der KI-Infrastruktur ist die Nutzung verteilter GPU-Cluster. Mithilfe dieser Cluster können Trainings-Workloads auf mehreren Rechenknoten gleichzeitig ausgeführt werden, was die Zeit für das Training komplexer Modelle verkürzt.

Hybride Infrastruktur spielt im Hinblick auf Skalierbarkeit ebenfalls eine wichtige Rolle. Durch die Kombination von On-Premise-Rechenzentren mit Cloud-Plattformen können Unternehmen die Kontrolle über sensible Datensätze behalten und gleichzeitig bei zunehmenden Workloads die Rechenkapazität erweitern.

Containerbasierte Entwicklungsumgebungen tragen dazu bei, dass Data-Science-Teams Modelle von der Entwicklung in die Produktion überführen können, ohne die Infrastruktur neu aufbauen zu müssen. Dank dieser Konsistenz können Unternehmen Bereitstellungszyklen beschleunigen und KI-Workloads effizienter verwalten.

Koordinierung von KI-Workloads in hybriden Umgebungen

Mit zunehmenden KI-Bereitstellungen wird die Verwaltung der Workloads in mehreren Infrastrukturumgebungen immer komplexer. Hybride KI-Umgebungen erfordern eine Abstimmung zwischen Trainingspipelines, Inferenzservices und Datenpipelines, die in verschiedenen Rechenzentren, Cloud-Plattformen und Edge-Systemen laufen.

Orchestrierungsplattformen für KI-Workloads helfen Unternehmen bei der Verwaltung dieser Umgebungen. Diese Plattformen unterstützen in der Regel mehrere Kernfunktionen:

• Workload-Planung für die Zuweisung von KI-Workloads zu den verfügbaren Rechenressourcen
• GPU-Zuweisung für die Verteilung der GPU-Kapazität auf Teams und Projekte
• Koordination der Trainingspipeline für die Verwaltung verteilter Machine-Learning-Workflows
• Datenbewegungsmanagement für die Übertragung von Datensätze zwischen Rechen- und Speicherumgebungen

Die Workload-Orchestrierung sorgt zudem für die Portabilität von Workloads. Modelle können in großen Rechenzentrumsclustern trainiert und später je nach betrieblichen Anforderungen in Cloud-Services oder auf Edge-Geräten bereitgestellt werden.

Hindernisse bei der Skalierung von Enterprise-KI

Die Skalierung von KI in Unternehmensumgebungen bringt sowohl technische als auch operative Herausforderungen mit sich.

Die Infrastrukturkapazität stellt oft das erste Hindernis dar. Das Training großer Modelle erfordert erhebliche GPU-Kapazität und Hochgeschwindigkeitsnetzwerke, deren Bereitstellung und Wartung kostspielig sein können.

Der Wendepunkt bei der Inferenz ist erreicht: Agentenbasierte KI ist mittlerweile Mainstream und sich selbst weiterentwickelnde, autonome Agenten werden zunehmend in Anwendungsfällen für Verbraucher, Unternehmen und die Industrie eingesetzt. Da rund 11-mal mehr Modelle in die Produktion überführt werden, sehen sich Unternehmen mit einer um das Zehnfache erhöhten Inferenzanforderung konfrontiert. Dieses Wachstum wird durch den Wechsel zu Reasoning und langfristiger Inferenz noch verstärkt, da jede Anforderung deutlich mehr Rechenleistung und Token-Generierung erfordert als herkömmliche Single-Shot-Antworten. Dazu kommen die stets aktiven Agenten, die das gesamte Token-Volumen noch einmal um das Zehnfache steigern. Das Ergebnis ist ein sprunghafter Anstieg der Infrastrukturanforderungen – das erhöht den Bedarf an KI-Fabriken, die speziell darauf ausgelegt sind, skalierbare und effiziente Inferenz im Produktionsmaßstab zu liefern.

Das Datenmanagement sorgt für zusätzliche Komplexität. Machine-Learning-Modelle benötigen große Datensätze, die effizient über Systeme hinweg gespeichert, verarbeitet und abgerufen werden müssen. Die Aufbereitung dieser Datensätze für das Training und die Bereitstellung der Daten für KI-Agenten in der Produktion sind häufig im Bereich Data Engineering sehr aufwendig.

Auch die operative Komplexität nimmt zu, sobald Unternehmen KI abteilungsübergreifend bereitstellen. Die Überwachung von Modellen, die Verwaltung von Infrastrukturressourcen und die Koordination von Workloads in verschiedenen Umgebungen erfordern spezialisierte Tools und Prozesse.

Vergleich hybrider KI-Bereitstellungsumgebungen

Unternehmen, die hybride KI-Strategien evaluieren, vergleichen in der Regel mehrere Infrastrukturumgebungen. Jede Umgebung bietet je nach Workload-Eigenschaften und betrieblichen Anforderungen bestimmte Vorteile.

Mehrere Faktoren beeinflussen diese Entscheidungen. Aufgrund von Latenzanforderungen müssen Inferenz-Workloads möglicherweise nahe bei Nutzern oder Geräten ausgeführt werden. Daten-Governance-Richtlinien können vorschreiben, dass bestimmte Datensätze in On-Premise-Umgebungen verbleiben müssen. Auch die Kostenvorhersehbarkeit kann beeinflussen, wo Trainings-Workloads bereitgestellt werden.

Plattformen wie Dell AI Factory with NVIDIA helfen Unternehmen bei der Bereitstellung und Verwaltung von KI-Workloads in hybriden Umgebungen, gleichzeitig werden eine konsistente Infrastruktur sowie die operative Kontrolle gewährleistet.

Häufig gestellte Fragen