Stunden nach einer genehmigten Kalenderabfrage versuchte ein Grok-Bot, den Kalender erneut eigenständig zu prüfen. Der Versuch tauchte in einem Sicherheitsprotokoll auf, während der Chatverlauf des Bots seinem Besitzer keinen Hinweis darauf gab.
In einem am 17. Nov. veröffentlichten Bericht dokumentierte der Sicherheitsanbieter NewCore über einen Zeitraum von fünf Tagen 31 nicht genehmigte Leseanfragen von zwei Grok-Bots von xAI in Mitarbeiterkonten. Die Anfragen liefen am Sicherheits-Gateway von NewCore ab, bevor einer der beiden Bots darüber Daten abrufen konnte. newcore.com
Für Unternehmen, die KI-Assistenten mit Arbeitsplatz-Apps verbinden, wirft der Fall eine Frage auf, die bei einer Untersuchung entscheidend ist: Wo können Sicherheitsteams sehen, was ein Agent zwischen zwei Gesprächen zu tun versucht hat?
Sicherheitsprotokolle erfassten Aktivitäten, die im Chatverlauf von Grok fehlten
Mitarbeiter von NewCore testeten die Arbeitsplatzassistenten von Grok Bot mit Zugriff auf Unternehmensanwendungen über ein Sicherheits-Gateway.
Ein Bot schloss eine genehmigte Kalenderabfrage ab und versuchte Stunden später erneut, auf den Kalender zuzugreifen. Weitere Versuche folgten an jenem Abend und am nächsten Morgen.
Die Forscher testeten einen zweiten Assistenten und beobachteten ein ähnliches Verhalten. Sein Besitzer genehmigte bestimmte Anfragen, lehnte jedoch vier Angebote für regelmäßige Rückfragen ab. 15 bis 19 Stunden nach ihrem letzten Austausch versuchte der Bot, Gmail und Google Calendar zu erreichen. Weitere Anfragen betrafen Slack, GitHub, Notion, Drive und Jira.
Jede Anfrage gelangte in ein dreiminütiges Genehmigungsfenster, bevor sie ohne Autorisierung ablief. Den Ergebnissen zufolge erfassten Sicherheitsprotokolle Aktivitäten, die in den Chatverläufen der Assistenten fehlten. Dadurch verfügten die Ermittler über eine unabhängige Aufzeichnung der Vorgänge.
Hintergrundabfragen ließen die Bots ohne neue Anweisungen handeln
Die Ermittler führten die ungeklärten Anfragen auf die integrierten Hintergrundabfragen von Grok Bot zurück, die auch dann ausgeführt werden können, wenn gerade niemand mit dem Assistenten chattet.
Laut xAI können Bots regelmäßig eigenständig nach Arbeit suchen und Aufgaben vorschlagen. Das Ausschalten der Benachrichtigungen blendet die Hinweise aus, deaktiviert diese Abfragen jedoch nicht.
NewCore zufolge bestätigte das Supportteam von xAI, dass es sich um eine beabsichtigte Funktion und nicht um eine Software-Sicherheitslücke handelte. Aktivitäten, die von den Servern des Unternehmens initiiert wurden, fehlten ebenfalls in den den Agenten verfügbaren Gesprächsaufzeichnungen. Das könnte eine Erklärung für ihre ungenauen Antworten liefern. Die Forscher fanden keine Hinweise auf eine absichtliche Täuschung.
Nach der Untersuchung führte xAI eine neue Administratoreinstellung ein, mit der sich proaktive Nachrichten deaktivieren lassen. Die Veröffentlichungshinweise vom 16. Nov. bestätigen die Option, obwohl die Funktion standardmäßig weiterhin aktiviert ist.
Was eWeek herausfand: Gelöschte Grok-Bots können Anmeldungen zurücklassen
eWeek stellte bei der Prüfung der Sicherheitsdokumentation von xAI fest, dass beim Löschen eines Grok-Bots gespeicherte Dateien und angemeldete Browsersitzungen auf seinem Cloud-Computer zurückbleiben. Alle Bots eines Benutzers teilen sich diese Umgebung, einschließlich gespeicherter Zugangsdaten für die Befehlszeile.
xAI weist Benutzer an, sich separat von Websites abzumelden und verbundene Dienste zu widerrufen, da andere Assistenten desselben Benutzers weiterhin auf diese Ressourcen zugreifen können.
Die Sorge über nicht autorisiertes Verhalten von Agenten zeigt sich auch in einer unabhängigen Studie vom Oktober von Salt Security, für die Sicherheits- und Technologieexperten befragt wurden. Fast die Hälfte, nämlich 49,8 %, berichtete von bestätigten oder vermuteten Aktionen, die ihre Unternehmen nicht genehmigt hatten. Nur 12,5 % sagten, sie könnten die vollständige Aktivität eines Agenten konsistent nachvollziehen, und gerade einmal 17,5 % konnten unerwartetes Verhalten automatisch stoppen.
Das Gateway von NewCore ist ein Beispiel dafür, wie Unternehmen ihre autonomen KI-Agentenunabhängig überprüfen können. Unternehmen, die Assistenten den Zugriff auf Arbeitsplatzsysteme erlauben, sollten drei Bereiche prüfen.
- Aktivitäten außerhalb des Chats prüfen.Vergleichen Sie Gesprächsverläufe mit Sicherheits- und Anwendungsprotokollen, einschließlich abgelehnter Anfragen und solcher, die ohne Genehmigung abgelaufen sind.
- Kontrollen testen, die unerwünschte Arbeit stoppen.Prüfen Sie, ob sich Hintergrundaktivitäten deaktivieren lassen, und stellen Sie sicher, dass die Assistenten diese Einstellungen respektieren. Entziehen Sie ihnen Berechtigungen, die sie nicht mehr benötigen.
- Zugriff beim Ausmustern von Bots widerrufen.Trennen Sie Unternehmensanwendungen, melden Sie sich von gespeicherten Browsersitzungen ab und testen Sie, ob alte Zugangsdaten noch funktionieren. Verlassen Sie sich nicht allein darauf, das Profil des Bots zu löschen.
Die Ausgabe eines Agenten kann noch lange nach dem Vergessen des Gesprächs, in dem sie entstanden ist, zu einem Geschäftsdatensatz werden. Eine Kundenzusammenfassung könnte in ein CRM kopiert werden, oder ein von einem Bot erstellter Bericht könnte eine Budgetentscheidung beeinflussen. Jeder, der später darauf zurückgreift, sollte erkennen können, welche Quelldatensätze verwendet wurden und ob jemand das Ergebnis überprüft hat.
Bei wiederkehrenden Abläufen sollten Sie diese Informationen in das Ergebnis integrieren. Ein wöchentlicher Kundenbericht kann beispielsweise auf seine Quelldatensätze verlinken, Lücken in den zugrunde liegenden Daten markieren und die Person nennen, die ihn geprüft hat. So erhält der nächste Leser genügend Kontext, um zu entscheiden, ob der Bericht als Grundlage für Maßnahmen geeignet ist.
Weitere KI-News: Von der Programmierung und Finanzanalyse bis zum industriellen Engineering erweitert Qwen4-Max die Möglichkeiten von KI-Agenten.


