Nvidia stellte Minerva am 22. Oktober vor – eine KI-gestützte Observability-Plattform, die Rechenzentrumsbetreibern helfen soll, Probleme in GPU-Clustern zu erkennen, bevor sie Workloads beeinträchtigen. Das System verknüpft Infrastruktur- und Workload-Daten, identifiziert ungewöhnliches Verhalten und gruppiert zusammenhängende Warnungen, damit Ingenieure die Ursache eines Problems finden können.
Der Start zielt auf eine wachsende Herausforderung für KI-Fabriken: Tausende miteinander verbundene Komponenten zu überwachen, ohne Betriebsteams mit Warnungen zu überlasten. Nvidia zufolge kann Minerva sich abzeichnende Ausfälle vorhersagen und Lösungen empfehlen. Das Unternehmen hat jedoch keine Benchmarks veröffentlicht, die belegen, wie präzise diese Funktionen arbeiten.
Wie Nvidia Minerva Probleme in GPU-Clustern erkennt
Laut Nvidias Ankündigung erfasst Minerva Telemetriedaten von GPUs, Netzwerkgeräten, Speichersystemen, Job-Schedulern und KI-Workloads.
Die Plattform organisiert diese Informationen in einem dynamischen Wissensgraphen, der GPUs, SuperNICs, Switches, Kabel und die darauf laufenden Jobs miteinander verknüpft.
Anschließend nutzt Minerva überwachtes und unüberwachtes maschinelles Lernen, um Milliarden von Datenpunkten pro Stunde zu analysieren. Das System lernt normale Betriebsmuster, erkennt bisher unbekannte Anomalien, sagt sich abzeichnende Ausfälle voraus und korreliert zusammenhängende Ereignisse auf Grundlage der Infrastrukturverbindungen.
So könnte sich ein langsamer Trainingsjob beispielsweise auf ein leistungsschwaches Speichergerät oder eine Netzwerkkomponente zurückführen lassen, statt als isoliertes Anwendungsproblem behandelt zu werden.
Nvidia zufolge kann Minerva mehrere Warnungen zu einem Vorfall mit einer wahrscheinlichen Grundursache zusammenfassen. Dadurch sinkt die Zahl der Warnungen, die Ingenieure separat untersuchen müssen.
Ähnliche Herausforderungen bei der Warnungskorrelation werden von KI-Agenten für den IT-Betrieb angegangen, darunter SolarWinds Avior, das ebenfalls Infrastruktur-Signale verknüpfen und Untersuchungen automatisieren soll.
Minerva umfasst einen KI-Assistenten, mit dem Betreiber in natürlicher Sprache Fragen zum Zustand des Clusters stellen und empfohlene Schritte zur Behebung erhalten können.
Teams können diese Empfehlungen manuell umsetzen oder Minerva mit Infrastruktur-APIs und externen Systemen verbinden, um bestimmte Aktionen zu automatisieren.
Nvidia hat jedoch keine Einzelheiten zu Genehmigungskontrollen, Rollback-Mechanismen oder Schutzvorkehrungen für automatisierte Änderungen an der Produktionsinfrastruktur genannt.
Das Unternehmen hat außerdem nicht angegeben, welche GPU-Generationen und Scheduler-Konfigurationen unterstützt werden oder ob Hardware anderer Anbieter kompatibel ist.
Diese Details könnten beeinflussen, wie einfach Unternehmen Minerva in bestehende Umgebungen integrieren können.
Was eWeek herausgefunden hat: Vier Tests, bevor man Minerva vertraut
Nvidia nannte den KI-Infrastrukturanbieter IREN als bestehenden Minerva-Nutzer.
„NVIDIA Minerva verschafft unserem Betriebsteam eine einheitliche Sicht auf das Netzwerk, die GPUs und die darauf laufenden Jobs. So können wir uns stärker auf proaktive Wartung statt auf die Fehlersuche konzentrieren“, sagte Denis Skrinnikoff, Chief Technology Officer von IREN, in Nvidias Ankündigung.
Sieben weitere Organisationen planen den Einsatz der Plattform: Aolani, Bitdeer AI, IBM, Jio, Lambda, Quake AI und Tesla.
Dell Technologies, Lenovo und Supermicro planen ebenfalls, Minerva über ihre Portfolios für den KI-Fabrikbetrieb anzubieten.
Diese Zusagen belegen das Interesse der Branche. Nvidia hat jedoch keine Minerva-spezifischen Zahlen zur Erkennungsgenauigkeit, zu Fehlalarmen oder zur durchschnittlichen Zeit bis zur Behebung veröffentlicht.
Vier Tests würden Infrastrukturteams dabei helfen zu bewerten, ob die Plattform messbare Verbesserungen liefert:
- Genauigkeit der Warnungen messen. Minervas Warnungen mit bestätigten Vorfällen vergleichen. Fehlalarme und vom System übersehene Ausfälle erfassen, nicht nur die Zahl der konsolidierten Warnungen.
- Identifizierung der Fehlerursache testen. Bekannte Fehler an GPUs, im Netzwerk und im Speicher in einer kontrollierten Umgebung einführen. Prüfen, ob Minerva die betroffene Komponente identifiziert oder lediglich zusammenhängende Symptome gruppiert.
- Zeit bis zur Wiederherstellung messen. Zeiten für Erkennung, Diagnose und Behebung von Vorfällen mit bestehenden Überwachungstools vergleichen. Eine schnellere Ausgabe von Warnungen allein belegt keine schnellere Wiederherstellung.
- Schutzvorkehrungen für die Automatisierung validieren. Bestätigen, welche Aktionen eine Genehmigung erfordern, ob sich Änderungen rückgängig machen lassen und wie Administratoren verhindern, dass eine automatisierte Behebung funktionierende Workloads beeinträchtigt.
Diese Tests sind vorgeschlagene Bewertungskriterien und keine Ergebnisse einer Untersuchung von Minerva durch eWeek.
Der Unterschied zwischen dem Erkennen eines Fehlers und seiner sicheren Behebung zeigt sich auch in aktuellen Arbeiten zu Berechtigungen für KI-Agenten, bei denen Administratoren festlegen müssen, welche Aktionen automatisierte Systeme ausführen dürfen.
Der potenzielle Nutzen von Minerva hängt davon ab, ob seine Empfehlungen über verschiedene GPU-Konfigurationen, Workloads und Infrastrukturausfälle hinweg präzise bleiben.
Nvidia hat weder Preise noch einen Termin für die allgemeine Verfügbarkeit bekannt gegeben. Zudem belegt die Ankündigung keine Kompatibilität mit jeder Unternehmensumgebung.
Der Einsatz bei IREN könnte letztlich wertvolle betriebliche Erkenntnisse liefern. Nvidia hat jedoch keine detaillierten Leistungsdaten aus dieser Installation veröffentlicht.
Bis diese Ergebnisse vorliegen, verfügen Unternehmen zwar über eine dokumentierte Architektur und eine Liste interessierter Partner, aber nicht über genügend Belege, um Minervas Auswirkungen auf die Verfügbarkeit von GPUs oder die Kosten der Fehlersuche zu quantifizieren.
Auch lesenswert: ServiceNow und Nvidias Arc führt einen Enterprise-KI-Agenten ein, der unter von der IT festgelegten Berechtigungen umfangreiche Aufgaben am Arbeitsplatz ausführen kann.