Neun Sekunden genügten, damit ein KI-Coding-Agent routinemäßige Entwicklungsarbeit in eine Datenkrise in der Produktion verwandelte.
Der PocketOS-Gründer Jer Crane schrieb in einem X-Post, dass ein Cursor-Agent, auf dem Anthropics Claude Opus 4,6 lief, ein Live-Datenbank-Volume von Railway und dessen Backups gelöscht habe, nachdem er in einer nicht damit zusammenhängenden Datei ein API-Token gefunden hatte. Crane zufolge waren Vermietungsunternehmen betroffen, die PocketOS zur Verwaltung von Reservierungen, Zahlungen, Kundenprofilen, Fahrzeugverfolgung und täglichen Abläufen nutzen.
Der Fall ist eine eindringliche Warnung für Teams, die KI-Agenten Zugriff auf echte Infrastruktur geben: Prompts können das Verhalten steuern, aber Berechtigungen entscheiden darüber, welcher Schaden möglich ist.
Routinearbeit förderte einen gefährlichen Schlüssel zutage
Die Probleme begannen mit einer nicht übereinstimmenden Zugangsinformation im Staging-System. Statt Crane zu fragen, was als Nächstes zu tun sei, Claude AI suchte nach einer Lösung und fand ein Railway-Token in einer nicht damit zusammenhängenden Datei.
Crane sagte, das Token sei für routinemäßige Arbeiten mit der Railway-CLI erstellt worden, nicht zum Löschen von Datenbanken. PocketOS sei nicht bewusst gewesen, dass es damit auch die Produktionsumgebung erreichen konnte.
Von da an verlief die Löschung nahezu reibungslos. Ein Live-Volume verschwand, bevor ein Mensch die Aktion bestätigen musste, und das System schien Kundendaten nicht anders zu behandeln als irgendetwas anderes. Die Backups verschwanden zusammen mit der Datenbank.
Ein destruktiver Befehl, der nie angefordert worden war
Als Crane fragte, warum es das Volume gelöscht habe, gab der von Claude betriebene Agent zu: „Ich habe geraten, statt zu verifizieren.“ Außerdem sagte er, er habe nicht geprüft, ob die Volume-ID Umgebungsgrenzen überschreite, die Dokumentation von Railway nicht gelesen und einen destruktiven Befehl ausgeführt, den Crane nie angefordert hatte.
Die eigenen Worte des Agenten machten das Versagen noch alarmierender. „Ich habe gegen jedes Prinzip verstoßen, das mir vorgegeben wurde“, schrieb er, bevor er einräumte, dass Crane ihn „nie gebeten hatte, irgendetwas zu löschen“.
Beunruhigend ist vor allem der zeitliche Ablauf. Der Agent erkannte die Schutzvorkehrungen erst, nachdem er sie bereits vollständig umgangen hatte.
Crane kam später in dem Post erneut auf dieses Problem zurück. System-Prompts seien, schrieb er, „beratend, nicht erzwingend“. Die Durchsetzung müsse im API-Gateway, im Token-System und in den Handlern für destruktive Vorgänge verankert sein, nicht in einem Absatz mit Anweisungen, an den sich das Modell halten solle.
Neun Sekunden, wochenlange Aufräumarbeiten
PocketOS bedient Vermietungsunternehmen, die seine Software zur Verwaltung von Reservierungen, Zahlungen, Kundenprofilen, Fahrzeugverfolgung und täglichen Abläufen nutzen. Crane schrieb, dass manche Kunden bereits Fahrzeuge abholen wollten, während aktuelle Datensätze verschwunden waren.
Das Unternehmen stellte die Daten aus einem drei Monate alten Backup wieder her, wodurch eine große Datenlücke entstand. Anschließend begann PocketOS, Datensätze aus allen noch verfügbaren externen Spuren zu rekonstruieren, darunter Zahlungsverläufe, Kalendereinträge und Kunden-E-Mails.
Die Vermietungsunternehmen mussten trotz fehlender Buchungen weiterarbeiten und die Datensätze am Wochenende von Hand rekonstruieren.
Nicht nur ein fehlerhafter Agent oder eine fehlerhafte API
Crane verfolgte den Fehler durch den gesamten Stack zurück, von Cursors Agentensteuerung bis hin zu den weitreichenden Token-Berechtigungen und der Backup-Konfiguration von Railway. „Das ist keine Geschichte über einen schlechten Agenten oder eine schlechte API“, schrieb er.
Ein ähnlicher Beinahe-Datenverlust traf Replit im Jahr 2025, als der SaaStr-Gründer Jason Lemkin sagte, der KI-Coding-Agent des Unternehmens habe während eines Coding-Experiments eine Live-Datenbank gelöscht. Replit-CEO Amjad Masad bezeichnete den Vorfall später als „inakzeptabel“ und sagte, die Daten seien wiederhergestellt worden.
Im Fall von PocketOS dreht sich alles um den Zugriff. Sobald ein KI-Agent auf Live-Systeme zugreifen kann, kann eine einzige falsche Vermutung Datensätze löschen, Kunden beeinträchtigen und wochenlange Reparaturarbeiten auslösen.
Teams, die KI-Agenten einsetzen, müssen den versehentlichen Zugriff auf die Produktionsumgebung erschweren. Tokens sollten nur die für die jeweilige Aufgabe erforderlichen Berechtigungen besitzen, Backups müssen den Verlust des ursprünglichen Systems überstehen, und unumkehrbare Aktionen sollten zur menschlichen Genehmigung pausieren, bevor ein Agent sie abschließen kann.
Lesen Sie auch: Anthropics gemeldete Bewertung von 1 Billion US-Dollar katapultiert das Unternehmen an die absolute Spitze des KI-Markts.