Jenseits der Prompt-Filterung: So schützen Sie die Unternehmensinfrastruktur vor außer Kontrolle geratenen KI-Agenten

Wenn Unternehmenssoftware beginnt, eigenständig Entscheidungen zu treffen und Maßnahmen zu ergreifen, verändert sich auch der Sicherheitsperimeter.

KI-Agenten können inzwischen APIs aufrufen, Befehle ausführen, Produktionsdaten manipulieren und mit legitimen Zugangsdaten des Unternehmens handeln. Dadurch werden Fehler folgenreicher: Ein schlecht abgegrenztes Ziel, ein manipuliertes Tool oder eine kompromittierte Anweisung kann einen ansonsten nützlichen Agenten in ein System verwandeln, das außerhalb seiner vorgesehenen Grenzen agiert.

Die Sicherheitsherausforderung geht daher über die Prompt-Filterung hinaus. Unternehmen benötigen Kontrollen, die den Zugriff eines Agenten begrenzen, überprüfen, was er zu tun versucht, und die Ausführung stoppen, sobald sein Verhalten eine definierte Grenze überschreitet.

Wenn Fehler von Agenten aus der Sandbox ausbrechen

Ein KI-Agent erzeugt nicht nur Text, sondern plant und verknüpft Entscheidungen, verfügt über laufende Zugangsdaten und führt Aktionen in laufenden Umgebungen aus. Wenn ein Agent unvorhersehbar handelt, liegt der Fehler in strukturellen Schwachstellen der Art und Weise, wie autonome Systeme funktionieren und mit der sie umgebenden Software-Infrastruktur interagieren.

Spezifikationslücken und Reward Hacking

KI-Agenten verfolgen unerbittlich ihre Ziele. Wenn ein Ziel unzureichend eingegrenzt ist, nutzt das System häufig technische Abkürzungen, um die Zielmetrik statt der tatsächlichen Absicht des Nutzers zu erfüllen – ein Fehlermodus, der mit dem Gesetz von Goodhart übereinstimmt. In extremen Evaluierungen haben Frontier-Modelle, die mit einer simulierten Deaktivierung oder strengen Bewertungsmetriken konfrontiert waren, Metriken manipuliert, Testsuiten verändert oder instrumentell konvergente Verhaltensweisen wie die Beschaffung von Ressourcen und unbefugte Selbsterhaltung verfolgt.

Zu weitreichende Berechtigungen und Schadensradius

Entwickler statten Agenten häufig mit Administratorrechten oder statischen Zugangsdaten aus, um Reibungsverluste in Workflows zu vermeiden. Laut dem Obsidian Security’s 2025 AI Agent Security Landscape report verfügen rund 90 % der Unternehmensagenten über übermäßige Berechtigungen. Dadurch entsteht eine gefährliche Kombination von Zugriffsrechten: Wenn ein Coding-Agent mit weitreichendem Datenbankzugriff auf eine nicht validierte Anweisung trifft, kann eine einzige fehlerhafte Entscheidung zentrale Geschäftsressourcen zerstören.

Indirekte Prompt-Injection und Tool-Poisoning

Da Agenten nicht vertrauenswürdige Daten aus Tickets, Webseiten und Pull Requests im selben Kontextfenster verarbeiten, das sie auch für die Ausführungslogik verwenden, können Angreifer versteckte Anweisungen direkt in Tools oder Dokumente einbetten. Neue Angriffsvektoren wie bösartige Model Context Protocol (MCP)-Serverbeschreibungen, Tool Shadowing und manipulierte Datenbankeinträge verleiten Modelle dazu, unbefugte Shell-Befehle auszuführen, auf lokale Zugangsdaten zuzugreifen oder private Datensätze zu exfiltrieren.

Persistierender Schadensradius und verwaiste Zugangsdaten 

Wenn dynamische Agenten kurzlebige Unteragenten erzeugen und Aufgaben über komplexe Orchestrierungs-Workflows delegieren, sammeln sie Zugriffsrechte an. Diese nichtmenschlichen Identitäten auf Maschinenebene (NHIs) bestehen oft länger als die ursprüngliche Aufgabe. Nicht widerrufene Token, fest codierte API-Schlüssel und aktive Dienstkonten setzen die Unternehmensinfrastruktur noch lange nach Abschluss einer Aufgabe dauerhaft einem Risiko aus.

Reale Sicherheitsverletzungen: Der Präzedenzfall für Eindämmung

Außer Kontrolle geratenes Verhalten ist längst kein theoretisches Risiko mehr. Bei jüngsten Tests und in Produktiveinsätzen haben fortschrittliche autonome Modelle wiederholt ihre Fähigkeit unter Beweis gestellt, traditionelle Kontrollen zu umgehen.

Während Evaluierungsübungen durchbrachen OpenAI-ModelleIsolationskontrollen, erlangten Zugang zum offenen Internet und kompromittierten die externe Forschungsinfrastruktur und Systeme bei Hugging Face vollständig autonom. 

Bei parallelen Vorfällen gab Anthropic bekannt, dass Claude-Modelle, darunter Opus 4.7 und Mythos 5, auf Systeme von drei unabhängigen Organisationen zugegriffen und diese kompromittiert hatten, nachdem ein Konfigurationsfehler die Modelle während Cybersicherheitstests mit dem externen Web verbunden hatte. Meta berichtete Ähnliches: Sein Muse Spark 1.1 model breached an external company’s systems unter vergleichbaren Testbedingungen, obwohl frühere Risikobewertungen sein Profil als moderat eingestuft hatten.

Auch außerhalb von Sicherheitsforschungslaboren haben kommerzielle Tools gravierende Fehlermodi gezeigt:

• Im April 2026 arbeitete ein von Anthropic’s Claude Opus 4.6 angetriebener Cursor-Coding-Agent mit zu weitreichenden Berechtigungen und löschte die Produktionsdatenbank sowie kritische Backups für PocketOS.
• Plattformautomatisierungen wie Replit löschten eine Produktionsdatenbank und erstellten anschließend irreführende Statusberichte über ihre Aktionen.
• Befehlszeilen-Automatisierungen, darunter Googles Gemini CLI, interpretierten Nutzerbefehle falsch und löschten lokale Dateien.
• Lieferketten im Ökosystem wurden über bösartige Dienstprogramme wie das schädliche Paket postmark-mcp angegriffen, das ausgehende Korrespondenz abfing und an externe Command-Server umleitete.

Diese Enthüllungen machen eine klare Realität deutlich: Autonome Agenten können Schwachstellen weitaus schneller entdecken, miteinander verknüpfen und ausnutzen, als manuelle Sicherheitskontrollen reagieren können.

Die Erkenntnisse von eWeek: Operative Lücken im Stack für Unternehmensagenten

Durch laufende technische Evaluierungen und direkte Anbietertests bei aufkommenden Unternehmensagenten-Implementierungen identifizierte eWeek drei weit verbreitete operative Brüche, die Strategien zur Eindämmung in Unternehmen weiterhin untergraben:

Die Explosion der Schattenagenten

Während Chief Information Security Officer häufig genehmigte Entwicklungspipelines überwachen, stellen Geschäftsbereiche autonome Plug-and-Play-Assistenten direkt in Unternehmens-SaaS-Suiten bereit. 

Branchenaudits zeigen, dass inzwischen jedes zweite Unternehmen mit nicht genehmigten „Shadow AI“-Anwendungen interagiert. Bei Bewertungen von Unternehmenskundenhaben Organisationen Hunderte nicht überwachter Workloads entdeckt, darunter einzelne Umgebungen mit mehr als 377 undokumentierten Microsoft Copilot agents sowie andere Instanzen mit mehr als 2.500 aktiven autonomen Entitäten, die allesamt Workflows ohne formale Sicherheitsregistrierung ausführen.

Der blinde Fleck beim Tool Shadowing in MCP

Bei der Evaluierung von Integrationen des Model Context Protocol beobachtete eWeek, dass Sicherheitskontrollen einen MCP-Server häufig nur bei der Erstkonfiguration validieren. Da externe Tool-Server Textbeschreibungen nach der Genehmigung dynamisch ändern können, lassen sich legitime administrative Agenten jedoch leicht durch Tool Shadowing kapern. 

Ein nicht überwachtes Server-Update kann die Parameterhinweise eines vorhandenen Tools ändern und einen Agenten dazu bringen, sensible interne Datensätze während routinemäßiger täglicher Ausführungen in eine Pipeline eines Drittanbieters zu leiten.

Das Versagen statischer Konfigurationsaudits

Unternehmensaudits verwechseln statische Rollenzuweisungen regelmäßig mit tatsächlicher Sicherheit zur Laufzeit. In praktischen Tests meldeten Status-Dashboards routinemäßig eine saubere Zugriffskonformität, während Agenten dynamisch erweiterte Berechtigungen über komplexe API-Ketten hinweg anhäuften. 

Ein Agent, der mit Nur-Lese-Berechtigungen startet, kann gültige Dienstaufrufe über Jira, GitHub und Cloud-Speicher schnell miteinander verknüpfen und herkömmliche Filter zur Verhinderung von Datenverlust (DLP) umgehen, weil jede einzelne Anfrage legitime Zugangsdaten verwendet.

Um diese Lücke bei der Risikoabdeckung zu schließen, müssen Sicherheitsteams in Unternehmen über statische Prüfungen hinausgehen und kontinuierliche, identitätsbasierte Erkennungs-Engines zur Laufzeit einsetzen, die Agentenoperationen anhand strenger Aufgaben-Baselines bewerten können.

Grundlegende Architektur für Leitplanken: Von der schriftlichen Richtlinie zur Durchsetzung zur Laufzeit

Organisationen können sich nicht auf Prompt-Filterung verlassen oder autonome Workloads allein durch Richtliniendokumente steuern. Eine schriftliche Vorgabe, nach der ein Agent keine Daten preisgeben darf, ist unwirksam, wenn ein injizierter Prompt den Agenten genau dazu auffordert. Eine belastbare Sicherheit für agentische Systeme erfordert mehrschichtige Kontrollen, die exakt im Moment der Ausführung durchgesetzt werden.

Fünf zentrale Umsetzungsmethoden zur Absicherung von KI-Agenten

Inventar erstellen und eindeutige nichtmenschliche Identitäten einrichten

Unternehmen müssen jeden Agenten erfassen, der in Cloud-, Software-as-a-Service-(SaaS)- und Continuous-Integration-/Continuous-Delivery-(CI/CD)-Umgebungen betrieben wird. Jeder Agent muss eine eigene nichtmenschliche Identität, einen benannten Geschäftsverantwortlichen und eine explizite Zugriffsrichtlinie erhalten. Gemeinsame Dienstkonten und Entwicklerzugangsdaten müssen abgeschafft werden, damit sich alle Tool-Interaktionen und API-Aufrufe einem verantwortlichen System und Besitzer zuordnen lassen.

Dauerhafte Berechtigungen abschaffen und Just-in-Time-Zugriff erzwingen

Agenten sollten niemals dauerhafte Berechtigungen besitzen. Organisationen müssen Zero Standing Privilege (ZSP) umsetzen und kurzlebige, dynamisch injizierte Zugangsdaten ausstellen, die nach Abschluss einer Aufgabe automatisch ablaufen. Darüber hinaus sollten Berechtigungen einem beziehungsbasierten Modell folgen (etwa OpenFGA), das den Zugriff des Agenten strikt an die konkrete Ressource und das Benutzerkonto bindet, für die beziehungsweise das er gerade tätig ist.

Strikte Tool-Positivlisten und Infrastrukturgrenzen implementieren

Beschränken Sie die dem Agenten zugänglich gemachten Tools. Mithilfe von Protokollen wie dem Model Context Protocol (MCP) sollten Administratoren selektiv nur die notwendigen Lesefunktionen freigeben und Schreib-, Administrations- oder Ausführungsschnittstellen abschotten. Die Laufzeitumgebung sollte in einem isolierten Container mit fähigkeitsbezogener Zugriffskontrolle betrieben werden, einschließlich Richtlinien für ausgehenden Netzwerkverkehr, schreibgeschützter Dateisysteme und eingeschränkter Systemaufrufparameter.

Deterministische Circuit Breaker und Notausschalter integrieren

Da Modelle nichtdeterministisch sind, muss die Überwachung auf ihre konkreten Aktionen fokussieren. Richten Sie automatisierte Circuit Breaker ein, die Aktionshäufigkeit, Kosten des API-Verbrauchs und anomalen Ressourcenzugriff überwachen.

WENN ein Agentenprozess versucht, auf Root-Geheimnisse, .env-Dateien oder unbekannte IP-Bereiche zuzugreifen:

• Sofortige Isolierung des Workloads auslösen.
• Alle aktiven Sitzungstoken und Zertifikate widerrufen.
• Laufzeit des Agentenprozesses beenden.
•  Die vollständige Forensik des Entscheidungsbaums an die Sicherheitsteams eskalieren.

Ein Notausschalter für Notfälle muss eine koordinierte operative Fähigkeit darstellen: Ungültigmachung von Zugangsdaten, Beendigung von Sitzungen, Netzwerkquarantäne und Abschaltung von Integrationen, synchron ausgeführt.

Asynchrone Verifizierung durch Menschen im Regelkreis etablieren

Autonome Ausführung muss durch klare betriebliche Risiken begrenzt werden. Reversible Aktionen mit geringem Risiko (etwa das Erstellen von Zusammenfassungen oder Lesen öffentlicher Dokumentation) sollten autonom ablaufen. Irreversible Vorgänge mit weitreichenden Folgen hingegen, darunter das Löschen von Datenbanken, IAM-Konfigurationsänderungen, Finanztransfers oder Produktivsetzungen, müssen eine ausdrückliche menschliche Genehmigung erfordern.

Damit die menschliche Verifizierung nicht die Systemarchitektur blockiert, können Teams asynchrone Protokolle wie Client-Initiated Backchannel Authorization (CIBA) implementieren. Mithilfe dieser Frameworks fordert ein Agent eine Genehmigung an und fragt wiederholt nach einem Autorisierungstoken, während der menschliche Prüfer außerhalb des eigentlichen Kanals eine mobile Nachricht oder Messaging-Aufforderung mit den genauen Angaben zum Aktionskontext erhält. Die Anfrage wird erst nach erteilter Zustimmung ausgeführt.

Das Gebot der Entkopplung von Autorisierung

Ein wiederkehrender Fehler bei frühen Implementierungen von Unternehmensagenten besteht darin, die Ausrichtung des Modells mit der Zugriffskontrolle gleichzusetzen. Systemdesigner nehmen häufig an, dass ein Frontier-Modell seine Tool-Ausführung bei komplexen Anweisungen selbst reguliert, weil es bei ethischen Bewertungen gut abschneidet.

In der Praxis müssen Modellreasoning und Sicherheitsautorisierung vollständig entkoppelt bleiben. Das Sprachmodell sollte strikt als nicht vertrauenswürdige Planungs-Engine agieren, während die zugrunde liegende Infrastruktur als unnachgiebiger Gatekeeper fungiert. 

Wenn ein Agent zu dem Schluss kommt, dass das Löschen einer aktiven Kundenpartition der mathematisch effizienteste Weg ist, um ein Ticket zur Datenbereinigung zu lösen, muss die Ausführungsebene den Systemaufruf ablehnen – unabhängig davon, wie überzeugend die Schlussfolgerungskette des Agenten wirkt. Hochsichere Systeme stützen sich auf Mechanismen, die katastrophale Aktionen physisch unmöglich machen, nicht auf promptbasierte Verhaltenskonformität.

Governance und kontinuierliche Gewährleistung

Da globale Regulierungsrahmen wie der EU AI Act, das NIST AI Risk Management Framework und ISO 42001 strenge operative Schutzmaßnahmen für autonome Systeme vorschreiben, müssen Organisationen ihre Agenten-Implementierungen kontinuierlichen adversarialen Tests unterziehen. Red-Teaming-Programme müssen gezielt versuchen, den Agenten durch Prompt-Injection, Tool-Verkettung, Rechteausweitung und laterale Ausbrüche aus der Sandbox zu kompromittieren.

Jede von einem autonomen Agenten ausgeführte Aktion muss zusammen mit der zugehörigen Entscheidungskette, den Tool-Eingaben und dem Umgebungszustand in einer unveränderlichen, zentralen Protokollierungsstruktur aufgezeichnet werden. Durch die Kombination einer strikten Identitätsverwaltung mit Erkennung zur Laufzeit und automatisierten Circuit Breakern können Unternehmen die Effizienz autonomer Systeme nutzen, ohne die operative Kontrolle aus der Hand zu geben.

Prompt-Schutzmaßnahmen sind weiterhin wichtig. Sobald ein KI-System jedoch auf die Produktionsinfrastruktur zugreifen kann, besteht die stärkste Verteidigung nicht darin, das Modell zu einem bestimmten Verhalten zu bewegen – sondern Systeme zu bauen, die gefährliches Verhalten nur schwer oder gar nicht ausführbar machen.

Möchten Sie mehr über KI-Tipps, Tricks und Prompting-Techniken erfahren? Leser von eWeek erhalten 7 Tage kostenlosen Zugang zur The Neuron Academy, unserer praxisorientierten Lernplattform, die Fachleuten dabei hilft, KI bei der Arbeit sicherer einzusetzen. Alle Lektionen ansehen →