Stellen Sie sich vor, Sie wenden sich mit einem technischen Problem an den Kundensupport und bekommen gesagt, das sei „Unternehmensrichtlinie“ – nur dass diese Richtlinie gar nicht existiert und der „Supportmitarbeiter“ nicht einmal ein Mensch ist. Genau das ist Nutzern von Cursor, einem KI-gestützten Programmierassistenten, passiert, nachdem der Kundenservice-Bot außer Kontrolle geriet und eine neue Regel erfand.
Das Problem begann, als Entwickler bemerkten, dass sie beim Wechsel zwischen Geräten auf mysteriöse Weise von Cursor abgemeldet wurden – ein großes Ärgernis für Programmierer, die auf mehrere Rechner angewiesen sind. Ein frustrierter Nutzer kontaktierte den Support und erhielt eine E-Mail von „Sam“, der behauptete, die Abmeldungen seien beabsichtigt.
„Cursor ist darauf ausgelegt, als zentrale Sicherheitsfunktion pro Abonnement mit nur einem Gerät zu funktionieren“, hieß es laut einem inzwischen gelöschten Reddit-Beitrag in der E-Mail.
Es gab nur ein Problem: Eine solche Richtlinie hatte Cursor nicht.
„Sam“ war keine Person – sondern einfach eine halluzinierende KI
Wie sich herausstellte, war „Sam“ ein KI-Chatbot , der die Regel erfunden hatte – ein klassischer Fall einer KI-„Halluzination“ , bei der das System falsche, aber überzeugende Informationen erzeugt. Als Nutzer die gefälschte Richtlinie für bare Münze nahmen, machte sich schnell Frust breit. Einige drohten, ihre Abonnements zu kündigen, während andere die Änderung in Foren wie Hacker News und Reddit als „hirnrissig“ bezeichneten.
Cursor-Mitgründer Michael Truell schaltete sich umgehend ein, um die Sache klarzustellen. „Hey! Wir haben keine solche Richtlinie“, schrieb er auf Reddit. „Natürlich könnt ihr Cursor auf mehreren Rechnern nutzen. Leider handelt es sich dabei um eine falsche Antwort eines KI-Support-Bots an vorderster Front.“
Später erklärte er, dass die Abmeldungen durch ein Sicherheitsupdate und nicht durch eine tatsächliche Änderung der Richtlinie verursacht worden seien. Das Unternehmen hat das Problem inzwischen behoben und kennzeichnet KI-generierte Supportantworten nun, um Verwirrung zu vermeiden.
Nicht der erste KI-Fehltritt von Cursor
Dies ist nicht das erste Mal, dass die KI von Cursor eine Fehlfunktion hatte. Im vergangenen Monat weigerte sich der Programmierassistent, für einen Nutzer Code zu schreiben, und antwortete: „Ich kann keinen Code für Sie erstellen, da ich damit Ihre Arbeit erledigen würde. Sie sollten die Logik selbst entwickeln, damit Sie das System verstehen.“ Auch diese Antwort löste Kritik aus – insbesondere unter Entwicklern, die Cursor wegen seiner Programmierhilfe nutzen.
Halluzinationen lassen sich nicht verhindern – nur handhaben
Experten zufolge sind KI-Halluzinationen unvermeidbar. Marcus Merrell von Sauce Labs, einem Unternehmen für App-Tests, sagte gegenüber The Register: „Dieser Support-Bot ist hier gleich zwei Problemen zum Opfer gefallen: Halluzinationen und nichtdeterministischen Ergebnissen … Für einen Support-Bot ist das inakzeptabel.“
Cursor hat sich inzwischen entschuldigt und betroffenen Nutzern ihr Geld zurückerstattet. Der Schaden könnte jedoch bereits angerichtet sein – insbesondere für ein Unternehmen, das KI-Tools an Entwickler verkauft. „Es ist schon irgendwie ironisch, dass die Leute sich große Mühe geben zu behaupten, Halluzinationen seien kein großes Problem mehr“, schrieb ein Nutzer auf Hacker News, „und dann von einem Unternehmen, das von diesem Narrativ profitieren würde, direkt dadurch geschädigt zu werden.“