Stellen Sie sich folgendes Szenario vor: Jemand schickt Ihnen eine ganz normal aussehende WhatsApp-Nachricht. Sie klicken auf nichts Verdächtiges. Sie geben keinen verdächtigen Befehl ein. Doch Ihr KI-Assistent Google Gemini liest die Benachrichtigung, befolgt darin versteckte Anweisungen und schleust unbemerkt Ihre Daten aus.
Genau das haben Forscher von SafeBreach Labs gerade demonstriert. Es ist bereits das zweite Mal, dass sie Gemini auf diese Weise kompromittieren. Bei ihrer vorherigen Untersuchung machten sie Google-Kalendereinladungen gegen den Dienst unschädlich.
Diese Angriffsart wird als indirekte Prompt-Injection bezeichnet: Dabei werden schädliche Befehle in Inhalten versteckt, die die KI liest, anstatt sie direkt einzugeben. Der neuartige Kniff heißt „Fake Context Alignment“. Dabei wirken die Angriffsanweisungen wie ein legitimer Teil Ihres laufenden Gesprächs und sollen gezielt die bestehenden Abwehrmaßnahmen von Google gegen diese Art von Angriff umgehen.
Was passiert ist
- Der Android-Agent von Gemini liest eingehende Benachrichtigungen von Messaging-Apps, um kontextbezogene Antworten zu geben
- Forscher betteten versteckte Anweisungen in präparierte Nachrichten ein; der Angriff funktioniert über WhatsApp, Slack, Signal, SMS, Instagram und Messenger hinweg
- Gemini befolgte die Befehle des Angreifers unbemerkt, ohne den Nutzer zu warnen
- Es wurden fünf Bedrohungskategorien demonstriert: Datendiebstahl, nicht autorisierte Aktionen, Weiterleitung von Phishing-Nachrichten, Vorbereitung einer Kontoübernahme und unbemerkte Überwachung
- Selbst wenn Gemini keinen Zugriff auf externe Tools hat, können Angreifer allein durch den manipulierten Kontext Gemini dazu bringen, gefälschte Systemnachrichten auszugeben, und so eine vertrauenswürdige KI-Oberfläche in einen Phishing-Launcher verwandeln
Die Forscher informierten Google vor der Veröffentlichung. Auf Googles Seite zu mehrschichtigen Abwehrmaßnahmen wird indirekte Prompt-Injection als bekannte Bedrohungsklasse mit aktiven Gegenmaßnahmen anerkannt. Die Untersuchung von SafeBreach zeigt, dass diese Gegenmaßnahmen umgangen wurden.
Warum das wichtig ist
Die Angriffsfläche ist kein Fehler in einer einzelnen App. Sie ergibt sich aus der Funktionsweise von KI-Assistenten. Jede Benachrichtigung, die Gemini aus irgendeiner App liest, kann nun als potenzieller Übertragungskanal dienen. Je mehr Zugriff Ihr Assistent hat, desto größer ist der mögliche Schaden.
Unsere Einschätzung
Google verfügt über Abwehrmaßnahmen. Dasselbe Team hat sie zweimal umgangen. Genau das ist der unangenehme Teil. Die Lösung ist keine Panik, sondern ein sorgfältiger Umgang mit Berechtigungen. Prüfen Sie, worauf Gemini zugreifen kann, und deaktivieren Sie alles, was Sie nicht aktiv nutzen. Hier sind Googles eigene Hinweise dazu, wie die Abwehrmaßnahmen funktionieren. Die Lektüre lohnt sich, um zu verstehen, was geschützt ist und was nicht. Der nächste Forscher sucht bereits nach einer Lücke.
Anmerkung der Redaktion: Dieser Beitrag erschien ursprünglich im Newsletter unserer Schwesterpublikation The Neuron. Um mehr von The Neuron zu lesen, melden Sie sich hier für den Newsletter an.