Wo sollten KI-Workloads ausgeführt werden? Die Platzierung von Workloads in einer hybriden KI-Welt neu denken

Mit der zunehmenden Einführung von KI müssen Unternehmen bewusst entscheiden, wo Modelle trainiert, feinjustiert und für Inferenz ausgeführt werden – und wie diese Workloads über die Unternehmensinfrastruktur verteilt werden. Hybride KI-Strategien verteilen KI-Workloads über Rechenzentren, Cloud-Plattformen und Edge-Umgebungen, um Leistung, Skalierbarkeit, Governance und Kosten auszubalancieren.

Die wichtigsten Erkenntnisse

• Hybride KI ermöglicht eine optimierte Platzierung von Workloads: Unternehmen führen KI-Workloads je nach Anforderungen des Workloads auf On-Premises-Infrastruktur, Cloud-Plattformen und in Edge-Umgebungen aus.
• Training, Feinjustierung und Inferenz werden häufig in unterschiedlichen Umgebungen ausgeführt: Diese Workloads erfordern unterschiedliche Infrastrukturkapazitäten und Leistungsmerkmale.
• Die KI-Infrastruktur von Unternehmen integriert mehrere Komponenten: Beschleunigte Rechenleistung, Hochgeschwindigkeitsnetzwerke, leistungsstarker Speicher und Orchestrierungsplattformen arbeiten zusammen, um KI-Workloads zu unterstützen.
• Entscheidungen zur Workload-Platzierung hängen von mehreren Faktoren ab: Latenz, Data Governance, Compliance-Anforderungen und Kostenplanbarkeit beeinflussen die Wahl der Infrastruktur.
• Integrierte Plattformen unterstützen hybride Bereitstellungen: Lösungen wie Dell AI Factory with NVIDIA kombinieren KI-Infrastruktur, KI-Software und Services zu einer einheitlichen Lösung, die über hybride KI-Umgebungen hinweg bereitgestellt werden kann.

KI-Bereitstellungen nehmen in Unternehmen zu, und mit diesem Wachstum entsteht eine neue Herausforderung für die Infrastruktur. Unternehmen müssen bestimmen, wo die verschiedenen KI-Workloads ausgeführt werden sollen. Das Trainieren von Modellen, die Verwaltung großer Datensätze und die Bereitstellung von Vorhersagen erfordern unterschiedliche Computing-Umgebungen. Einige Workloads sind auf große, beschleunigte Cluster angewiesen, die riesige Datensätze verarbeiten können, während andere in der Nähe von Benutzern oder Geräten ausgeführt werden müssen, um schnell zu reagieren.

Auch der Umfang der KI-Infrastruktur nimmt zu. Der Stanford HAI 2025 AI Index Report stellt fest, dass der Rechenaufwand für das Training fortschrittlicher KI-Modelle weiter zunimmt , da Modelle komplexer und Datensätze größer werden. Gleichzeitig erreichen Unternehmen mit der zunehmenden Einführung von KI einen Wendepunkt bei der Inferenz – sie verlagern sich von der Modellentwicklung hin zur großflächigen Bereitstellung von KI in der Produktion. Der Databricks State of Data + AI Report ergab, dass Unternehmen 11-mal mehr KI-Modelle im Vergleich zum Vorjahr in der Produktion einsetzten – ein Ausdruck des schnellen Wachstums von KI-Bereitstellungen in Unternehmen.

Da sich KI-Bereitstellungen über die Experimentierphase hinausentwickeln, führen Unternehmen hybride KI-Architekturen ein, die Workloads über Rechenzentren, Cloud-Plattformen und Edge-Umgebungen verteilen. Dell AI Factory with NVIDIA unterstützt diesen Ansatz, indem beschleunigte Rechenleistung, Netzwerk, Speicher und KI-Software in Lösungen integriert werden, die in hybriden Umgebungen betrieben werden können.

Welche Infrastruktur benötigen KI-Trainings- und Inferenz-Workloads?

Groß angelegte KI-Workloads erfordern eine für verteiltes Computing ausgelegte Infrastruktur. Beim Training moderner Machine-Learning-Modelle werden große Datensätze über mehrere Computing-Knoten hinweg verarbeitet, während schlussfolgerungsbasierte Inferenz neue Anforderungen stellt: Für hochwertige Ergebnisse in der Produktion ist anhaltende, mehrstufige Rechenleistung erforderlich.  

Die KI-Infrastruktur von Unternehmen umfasst typischerweise mehrere zentrale Komponenten:

• GPU-beschleunigte Computing-Cluster: Ermöglichen die für groß angelegte KI-Trainings- und Inferenz-Workloads erforderliche parallele Verarbeitung
• Netzwerke mit hoher Bandbreite: Ermöglichen den Computing-Knoten während des verteilten Trainings den Austausch großer Datenmengen
• Verteilte Hochleistungs-Speichersysteme: Speichern und verwalten große Datensätze, die für das Training von Machine-Learning-Modellen verwendet werden
• KI-Frameworks: Unterstützen Modellentwicklung, Experimente und Trainings-Workflows
• Plattformen zur Workload-Orchestrierung: Koordinieren verteilte Computing-Umgebungen, in denen KI-Workloads ausgeführt werden

Diese Komponenten ermöglichen den Betrieb von KI-Workloads über verteilte Cluster statt auf einzelnen Servern. Während des Trainings tauschen Modelle wiederholt Parameter zwischen Computing-Knoten aus, wodurch Netzwerkleistung und Speicherdurchsatz entscheidend werden.

Die Anforderungen an die Infrastruktur steigen weiter, da Modelle größer und Datensätze umfangreicher werden. NVIDIA zufolge sind KI-Trainings-Workloads äußerst ressourcenintensiv , was auf komplexe Modellarchitekturen, Optimierungstechniken und wiederholte Trainingsiterationen zurückzuführen ist. Selbst relativ kleine Modelle, die mit begrenzten Datensätzen trainiert werden, können erhebliche Ressourcen für Rechenleistung, Speicher und Energie erfordern. Mit steigenden Anforderungen setzen Unternehmen integrierte Infrastrukturplattformen ein, die die Bereitstellung vereinfachen und groß angelegte KI-Workloads unterstützen.

Wie baut man eine KI-Infrastruktur auf, die mit dem Wachstum der Workloads skaliert?

KI-Projekte beginnen häufig als experimentelle Initiativen, erfordern aber letztlich eine Infrastruktur, die lang denkende KI-Anwendungen über mehrere Teams und Geschäftsbereiche hinweg unterstützen kann.

Ein Ansatz zur Skalierung der KI-Infrastruktur ist der Einsatz verteilter GPU-Cluster. Diese Cluster ermöglichen die gleichzeitige Ausführung von Trainings-Workloads über mehrere Computing-Knoten hinweg und verkürzen so die für das Training komplexer Modelle erforderliche Zeit.

Auch hybride Infrastruktur spielt eine entscheidende Rolle für die Skalierbarkeit. Durch die Kombination von On-Premises-Rechenzentren mit Cloud-Plattformen können Unternehmen die Kontrolle über sensible Datensätze behalten und gleichzeitig die Computing-Kapazität bei zunehmenden Workloads erweitern.

Containerisierte Entwicklungsumgebungen helfen Data-Science-Teams, Modelle von der Entwicklung in die Produktion zu überführen, ohne die Infrastruktur neu aufbauen zu müssen. Diese Konsistenz ermöglicht es Unternehmen, Bereitstellungszyklen zu beschleunigen und KI-Workloads effizienter zu verwalten.

Wie koordinieren Unternehmen KI-Workloads über hybride Umgebungen hinweg?

Mit der zunehmenden Verbreitung von KI-Bereitstellungen wird die Verwaltung von Workloads über mehrere Infrastrukturumgebungen hinweg immer komplexer. Hybride KI-Umgebungen erfordern die Koordination von Trainings-Pipelines, Inferenz-Services und Daten-Pipelines, die über Rechenzentren, Cloud-Plattformen und Edge-Systeme hinweg betrieben werden.

Plattformen zur Orchestrierung von KI-Workloads helfen Unternehmen bei der Verwaltung dieser Umgebungen. Diese Plattformen unterstützen typischerweise mehrere Kernfunktionen:

• Workload-Scheduling weist KI-Workloads verfügbaren Computing-Ressourcen zu
• GPU-Zuweisung verteilt GPU-Kapazität auf Teams und Projekte
• Koordination von Trainings-Pipelines verwaltet verteilte Machine-Learning-Workflows
• Verwaltung von Datenbewegungen überträgt Datensätze zwischen Computing- und Speicherumgebungen

Die Workload-Orchestrierung ermöglicht außerdem die Portabilität von Workloads. Modelle können in großen Rechenzentrumsclustern trainiert und später je nach betrieblichen Anforderungen in Cloud-Services oder auf Edge-Geräten bereitgestellt werden.

Wie sollten Unternehmen entscheiden, wo KI-Workloads ausgeführt werden?

Bei der Platzierung von KI-Workloads sollten sowohl die Anforderungen des Workloads als auch der Standort der benötigten Daten berücksichtigt werden. Training, Feinjustierung, Inferenz, RAG und agentische KI können unterschiedliche Anforderungen an Latenz, Datenlokalität, Compliance, Kostenplanbarkeit und Skalierung stellen. Das folgende Framework zeigt, wie gängige Entscheidungsfaktoren beeinflussen, ob ein Workload am besten On-Premises, in der Cloud, am Edge oder über eine hybride Architektur hinweg betrieben wird.

Die Datenplatzierung ist Teil der Workload-Platzierung, weil KI-Anwendungen zuverlässigen Zugriff auf die Informationen benötigen, die sie für Training, Abruf und Inferenz verwenden. Die Dell AI Data Platform ist für den Betrieb über verteilte Datenumgebungen hinweg ausgelegt und ermöglicht es Unternehmen, vorhandene Datenquellen zu nutzen, ohne jeden Datensatz zentralisieren zu müssen, bevor er einen KI-Workload unterstützen kann.

Welche Hindernisse erschweren die Skalierung von KI in Unternehmen?

Die Skalierung von KI über Unternehmensumgebungen hinweg bringt sowohl technische als auch betriebliche Herausforderungen mit sich.

Die Infrastrukturkapazität ist häufig das erste Hindernis. Das Training großer Modelle erfordert erhebliche GPU-Kapazität und Hochgeschwindigkeitsnetzwerke – beides kann kostspielig bereitzustellen und zu warten sein.

Der Wendepunkt bei der Inferenz ist erreicht: Agentische KI ist inzwischen etabliert, und sich selbst weiterentwickelnde, autonome Agenten entstehen in Anwendungen für Verbraucher, Unternehmen und verschiedene Branchen. Da 11-mal mehr Modelle in die Produktion überführt werden, sehen sich Unternehmen mit einer Verzehnfachung des Inferenzbedarfs konfrontiert. Dieses Wachstum wird durch den Übergang zu schlussfolgernder und lang denkender Inferenz zusätzlich verstärkt, bei der jede Anfrage deutlich mehr Rechenleistung und Token-Generierung erfordert als herkömmliche Einzelantworten. Hinzu kommen ständig aktive Agenten, wodurch sich das gesamte Token-Volumen um eine weitere Größenordnung erhöht. Das Ergebnis ist ein sprunghafter Anstieg der Infrastruktur-Anforderungen – und damit der Bedarf an speziell für diesen Zweck entwickelten KI-Fabriken, die skalierbare und effiziente Inferenz im Produktionsmaßstab ermöglichen.

Das Datenmanagement bringt eine weitere Komplexitätsebene hinzu. Machine-Learning-Modelle sind auf große Datensätze angewiesen, die systemübergreifend effizient gespeichert, verarbeitet und abgerufen werden müssen. Die Aufbereitung dieser Datensätze für das Training und die schnelle Verfügbarkeit der Daten für KI-Agenten in der Produktion erfordern häufig umfangreiche Data-Engineering-Arbeiten. Als Teil der umfassenderen Dell AI Factory with NVIDIA stellt die Dell AI Data Platform eine Datenschicht bereit, über die verteilte Unternehmensdaten für KI-Workloads in der Produktion zugänglich und kontrolliert nutzbar werden.

Auch die betriebliche Komplexität nimmt zu, wenn Unternehmen KI in verschiedenen Abteilungen einsetzen. Die Überwachung von Modellen, die Verwaltung von Infrastrukturressourcen und die Koordination von Workloads über Umgebungen hinweg erfordern spezielle Tools und Prozesse.

Wie sollten Unternehmen On-Premises-, Cloud- und Edge-KI-Bereitstellungen vergleichen?

Nach der Ermittlung der Anforderungen an die Workloads können Unternehmen die in einer hybriden KI-Strategie verfügbaren Infrastrukturumgebungen vergleichen.

Mehrere Faktoren beeinflussen diese Entscheidungen. Latenzanforderungen können es erforderlich machen, Inferenz-Workloads in der Nähe von Benutzern oder Geräten auszuführen. Data-Governance-Richtlinien können vorschreiben, dass bestimmte Datensätze in On-Premises-Umgebungen verbleiben. Auch die Kostenplanbarkeit kann beeinflussen, wo Trainings-Workloads bereitgestellt werden.

Plattformen wie Dell AI Factory with NVIDIA helfen Unternehmen, KI-Workloads über hybride Umgebungen hinweg bereitzustellen und zu verwalten und dabei eine konsistente Infrastruktur sowie betriebliche Kontrolle aufrechtzuerhalten.

Bereit, KI von der Experimentierphase zu messbarem Nutzen für Ihr Unternehmen zu führen? Entdecken Sie den TechRepublic Unternehmensleitfaden für skalierbare KI für praxisnahe Hinweise zu Strategie, Daten, Infrastruktur, Anwendungsfällen und ROI.