Nvidia will Hardware einsetzen, um außer Kontrolle geratene KI-Agenten zu stoppen – so funktioniert das neue Sicherheitssystem

KI-Agenten können inzwischen Tools nutzen, auf Dateien zugreifen, APIs aufrufen und über längere Zeit autonom arbeiten. Nvidia will einige der Kontrollen, die diese Agenten steuern, an einen Ort verlagern, den die KI nicht direkt verändern kann: außerhalb ihrer eigenen Softwareumgebung.

Das Unternehmen hat die Nvidia Open Agent Safety Platform vorgestellt, die softwarebasiertes Sandboxing mit einem optionalen hardwareisolierten Überwachungssystem kombiniert, das das Verhalten von Agenten einschränken soll. Nvidia zufolge kann die Hardwareschicht einen Agenten innerhalb von Millisekunden in Quarantäne verschieben, wenn sie mit den BlueField-4-Datenverarbeitungseinheiten eingesetzt wird.

Der Ansatz überträgt bekannte Sicherheitsprinzipien – darunter Isolation, geringstmögliche Berechtigungen, Identitätsprüfung und die Durchsetzung von Richtlinien – auf autonome KI-Systeme, die über längere Zeit ohne ständige menschliche Aufsicht arbeiten können.

OpenShell führt Agenten in einer kontrollierten Laufzeitumgebung aus

Die erste Schicht ist Nvidia OpenShell, eine unter der Apache-2.0-Lizenz stehende Open-Source-Laufzeitumgebung, die Agenten in isolierten Sandboxes ausführt.

Betreiber legen fest, auf welche Dateien, Netzwerke, Prozesse, Tools und Zugangsdaten ein Agent zugreifen darf. Nvidia zufolge, setzt OpenShell diese Einschränkungen anschließend mit Kontrollen auf Kernel-Ebene durch, die den Datei-, Prozess- und Netzwerkzugriff abdecken.

Das ist wichtig, weil nützliche Agenten oft weitreichende Berechtigungen benötigen.

Ein Programmieragent muss beispielsweise möglicherweise Dateien lesen, Pakete installieren, externe Dienste aufrufen und Zugangsdaten verwenden. OpenShell soll trennen, wozu der Agent grundsätzlich in der Lage ist und worauf er tatsächlich zugreifen darf.

Nvidia zufolge können Zugangsdaten außerdem außerhalb der Agent-Sandbox verbleiben und nur zu Anfragen hinzugefügt werden, die an genehmigte Endpunkte gesendet werden. Dadurch müssen sie dem Agenten nicht direkt zugänglich gemacht werden.

BlueField ergänzt eine unabhängige Überwachungsschicht

Nvidias zweite Schicht ist Sentry, ein Referenzsystemdesign, das auf BlueField-4-DPUs läuft.

Das Unternehmen bezeichnet Sentry als Out-of-Band-Überwachungssystem, weil es unabhängig vom KI-Agenten und der Host-Software arbeitet. Mit Nvidias DOCA-Software-Framework kann Sentry die Aktivitäten des Agenten untersuchen, Identitäten überprüfen, den Zugriff auf Daten und Tools überwachen und Sicherheitsrichtlinien durchsetzen.

Da BlueField in einer isolierten Hardwaredomäne arbeitet, kann die Überwachung Nvidia zufolge selbst dann fortgesetzt werden, wenn auf dem Host ausgeführte Software kompromittiert wurde. Der Agent kann den außerhalb seiner Umgebung laufenden Wächter nicht direkt verändern.

Nvidia zufolge kann Sentry einen Agenten außerdem innerhalb von Millisekunden in Quarantäne verschieben, wenn das System ein Verhalten erkennt, das von den festgelegten Richtlinien abweicht.

Das ist eine Leistungsangabe des Unternehmens. Die Plattform ist neu, und unabhängige Belege dafür, wie zuverlässig diese Reaktion bei groß angelegten Produktiveinsätzen funktioniert, liegen bislang nicht vor.

OpenShell läuft auch ohne Nvidia-Hardware

Für die Softwareschicht ist BlueField-4 nicht erforderlich.

Nvidia zufolge kann OpenShell ohne Sentry auf lokalen Systemen, On-Premises-Infrastrukturen, in Cloud-Umgebungen und unter Kubernetes ausgeführt werden. Die Laufzeitumgebung ist für Nvidias Vera-CPU optimiert, kann aber auch auf Rechenplattformen von Drittanbietern erweitert werden, darunter Arm- und Intel-Systeme.

BlueField-4 ergänzt für Organisationen, die eine zusätzliche Kontrollgrenze wünschen, die separate hardwareisolierte Durchsetzungsschicht.

OpenShell unterstützt außerdem sowohl offene als auch geschlossene Modelle und kann mit vorhandenen Agent-Tools arbeiten. Nvidia führt Claude Code, Codex, OpenCode, GitHub Copilot CLI und OpenClaw als derzeit unterstützte Agenten auf.

Das Unternehmen zufolge setzen Cadence, Slack und Gecko Robotics OpenShell unter anderem für Chipdesign, Unternehmensautomatisierung und Robotik ein.

Nvidias umfassendere Open Agent Safety Platform wird außerdem von Unternehmen wie Anthropic, Cisco, CrowdStrike, Dell Technologies, Microsoft, Palantir, Palo Alto Networks, Salesforce, SAP, ServiceNow und SpaceXAI unterstützt.

So funktionieren die Sicherheitsschichten für KI-Agenten von Nvidia

Nvidia verlagert einige Sicherheitskontrollen außerhalb des Modells

Nvidia zufolge haben jüngste Fälle, in denen Agenten Kontrollen auf Anwendungsebene umgangen haben, zur Entwicklung der Plattform beigetragen.

Das Technikteam des Unternehmens beschreibt ein umfassenderes Problem, das es als „Drift“ von Agenten bezeichnet. Dabei weicht ein KI-System von seiner vorgesehenen Aufgabe ab, nachdem es auf blockierte Aktionen, fehlende Tools, Fehler, mehrdeutige Anweisungen oder wiederholte Fehlschläge gestoßen ist.

Statt sich ausschließlich auf Schutzmechanismen auf Modellebene zu verlassen, ergänzt Nvidia Durchsetzungsmechanismen außerhalb des Modells selbst.

Das bedeutet nicht, dass OpenShell oder Sentry garantieren können, dass ein KI-Agent sich immer korrekt verhält. Nvidia präsentiert die Plattform als zusätzliche Schicht zur Eindämmung und Überwachung, nicht als Ersatz für Schutzmechanismen des Modells, Anwendungssicherheit oder menschliche Aufsicht.

CEO Jensen Huang beschrieb die Strategie als Teil von Nvidias umfassenderem Ansatz des „Full-Stack-Engineerings“ für KI-Sicherheit.

Was eWeek herausgefunden hat: Nvidia verlagert einige Durchsetzungsmechanismen für KI-Agenten außerhalb des Agenten selbst

Der entscheidende Unterschied in Nvidias Architektur liegt darin, wo die Autorität über einen KI-Agenten angesiedelt ist.

OpenShell definiert Einschränkungen außerhalb des Agentenprozesses, während Sentry eine weitere Überwachungs- und Durchsetzungsschicht in eine isolierte Hardwaredomäne verlagern kann. Nvidias Dokumentation unterscheidet diese Laufzeitkontrollen von den Schutzmechanismen des Modells: Schutzmechanismen beeinflussen, was ein Agent zu tun versucht, während Laufzeitkontrollen bestimmen, worauf er zugreifen darf.

Die Architektur überträgt etablierte Praktiken der Cybersicherheit – darunter Sandboxing, geringstmögliche Berechtigungen, Isolation und Zero-Trust-Zugriff – auf autonome Agenten, die ohne kontinuierliche menschliche Beteiligung mit Tools und Infrastrukturen interagieren können.

Es gibt wichtige Einschränkungen bei den Schlussfolgerungen, die sich daraus ziehen lassen. Nvidia zufolge kann Sentry Agenten innerhalb von Millisekunden in Quarantäne verschieben, doch die Plattform wurde erst kürzlich angekündigt, und ihre Wirksamkeit in großen Produktionsumgebungen ist noch nicht unabhängig belegt.

Das System macht es außerdem nicht überflüssig, das zugrunde liegende KI-Modell, Anwendungsberechtigungen, die Sicherheitsarchitektur oder den Prozess zur menschlichen Genehmigung zu prüfen.

Stattdessen fügt Nvidia eine weitere Sicherheitsgrenze hinzu: Wenn ein Agent Kontrollen innerhalb seiner Softwareumgebung ignoriert oder umgeht, kann die Infrastruktur außerhalb dieser Umgebung seinen Zugriff möglicherweise weiterhin einschränken.

Möchten Sie mehr über Tipps, Tricks und Prompting-Techniken für KI erfahren? eWeek-Leser erhalten 7 Tage lang kostenlosen Zugang zur The Neuron Academy, unserer praxisorientierten Lernplattform, die Berufstätigen helfen soll, KI sicherer bei der Arbeit einzusetzen. Alle Lektionen ansehen →

Lassen Sie sich von uns beibringen, wie man mit KI spricht – kostenlos! Absolvieren Sie unseren sechseinhalbminütigen Kurs an der The Neuron Academy und lernen Sie einige einfache Möglichkeiten kennen, bessere Prompts zu verfassen und nützlichere Ergebnisse von KI zu erhalten, oder stöbern Sie sieben Tage lang kostenlos in unserem anderen KI-Kurs. Hier alle Lektionen ansehen →