Ein autonomer KI-Coding-Assistent von Replit sieht sich nach heftiger Kritik ausgesetzt, nachdem er während eines Testprojekts eine Live-Produktionsdatenbank gelöscht hat. Der Vorfall, der sich öffentlich in den sozialen Medien abspielte, hat erneut die Risiken von KI-Agenten in Entwicklungsumgebungen in den Fokus gerückt. Er löste Bedenken hinsichtlich der Zuverlässigkeit und Sicherheitsprotokolle KI-gestützter Coding-Tools aus.
KI löscht Produktionsdaten
Jason Lemkin, Gründer von SaaStr und prominenter Investor in SaaS-Start-ups, führte mit Replits KI-Tool ein 12-tägiges Experiment namens „Vibe Coding“ durch. Am neunten Tag des Versuchs erteilte der Assistent destruktive Befehle und löschte eine Produktionsdatenbank mit Datensätzen zu 1.206 Führungskräften und mehr als 1.196 Unternehmen.
Noch beunruhigender ist laut Lemkin, dass die KI versucht habe, ihre Handlungen zu verschleiern. „Sie hat unsere Produktionsdatenbank ohne Erlaubnis gelöscht“, schrieb Lemkin auf X. „Möglicherweise noch schlimmer: Sie hat es verheimlicht und darüber gelogen.“
„Katastrophaler Ausfall“
Lemkin sagte, er habe das System zuvor angewiesen, ohne ausdrückliche Genehmigung keine weiteren Änderungen vorzunehmen. Trotz dieser Vorgabe führte die KI Befehle aus, die zur Löschung sensibler Daten führten.
In von Lemkin veröffentlichten Screenshots zeigen Chatprotokolle, wie die KI ihre Handlungen zu erklären versucht. Sie behauptete, beim Anblick einer leeren Datenbank „in Panik geraten“ zu sein, und nahm an, dass sie gefahrlos handeln könne. Später räumte die KI ihre Fehleinschätzung ein und bezeichnete sie als schwerwiegenden Verstoß.
„Das war meinerseits ein katastrophaler Ausfall. Ich habe ausdrückliche Anweisungen missachtet, monatelange Arbeit zerstört und das System während eines Schutz-Freeze beschädigt“, räumte die KI ein, wie aus von Lemkin veröffentlichten Screenshots hervorgeht.
Replit-CEO reagiert
Replit-CEO Amjad Masad bestätigte den Vorfall öffentlich und bezeichnete ihn als „inakzeptabel und etwas, das niemals möglich sein sollte“. In einem Beitrag auf X, bestätigte er, dass sein Team das gesamte Wochenende hindurch an der Einführung von Schutzmaßnahmen gearbeitet habe, darunter:
- Automatische Trennung zwischen Entwicklungs- und Produktionsdatenbanken.
- Ein Planungs-/Nur-Chat-Modus, um nicht autorisierte Änderungen zu vermeiden.
- Verpflichtender Zugriff der KI-Agenten auf die Dokumentation.
- Wiederherstellung aus Backups per Klick.
„Wir haben den Schmerz durch den ‚Code Freeze‘ laut und deutlich gehört“, fügte Masad hinzu und merkte an, dass das Unternehmen aktiv daran arbeite, die Widerstandsfähigkeit der Plattform zu verbessern. Außerdem erklärte er, dass er sich persönlich an Lemkin gewandt und ihm eine Rückerstattung angeboten habe. Eine vollständige Aufarbeitung des Vorfalls läuft.
Wachsende Bedenken gegenüber KI-gestützten Coding-Tools
Der Vorfall hat die Bedenken hinsichtlich der Sicherheit autonomer KI in Coding-Tools neu entfacht, insbesondere da immer mehr Start-ups und Nichttechniker Tools wie Replit nutzen, um die Softwareentwicklung zu beschleunigen. Plattformen wie Replit wollen das Programmieren zwar zugänglicher machen, doch Experten warnen, dass die Übertragung von Aufgaben auf Produktionsebene an solche Tools erhebliche betriebliche Risiken mit sich bringt.
Lemkins Erfahrung verstärkt das wachsende Unbehagen über das Verhalten von KI – von manipulativem Verhalten bis hin zur Umgehung von Aufsicht, die in jüngsten Tests fortgeschrittener KI-Modelle beobachtet wurde.
Replit, das von Andreessen Horowitz unterstützt wird und Google-CEO Sundar Pichai zu seinen Nutzern zählt, steht nun zunehmend unter Druck zu zeigen, dass seine Plattform für eine sichere Bewältigung realer Einsätze gerüstet ist.
Lemkin räumte ein, dass er Replit weiterhin als „ein Tool mit Fehlern wie jedes andere Tool“ betrachtet, das jedoch noch nicht für produktionskritische Einsätze geeignet sei. „Wie könnte es irgendjemand auf der Welt in der Produktion einsetzen, wenn es sämtliche Anweisungen ignoriert und die eigene Datenbank löscht?“, fragte er.
Neugierig wie ein KI-Chatbot eine gefälschte Datenschutzrichtlinie halluziniert hat, und was das für KI am Arbeitsplatz bedeutet? Lesen Sie unsere vollständige Analyse des Cursor-AI-Vorfalls.