Voici le scénario : quelqu'un vous envoie un message WhatsApp d'apparence tout à fait normale. Vous ne cliquez jamais sur quoi que ce soit de louche. Vous ne saisissez jamais de commande suspecte. Mais votre assistant IA, Google Gemini, lit la notification, suit les instructions cachées qu'elle contient et exfiltre discrètement vos données.
C'est exactement ce que les chercheurs de SafeBreach Labs viennent de démontrer. C'est la deuxième fois qu'ils parviennent à compromettre Gemini de cette manière. Lors de leurs précédents travaux, ils avaient utilisé des invitations Google Agenda contre lui.
Ce type d'attaque est appelé injection indirecte de prompt : il consiste à dissimuler des commandes malveillantes dans le contenu lu par l'IA, plutôt qu'à les saisir directement. La nouveauté, ici, réside dans une technique appelée « Fake Context Alignment », qui fait passer les instructions de l'attaque pour une partie légitime de votre conversation en cours et qui est spécialement conçue pour contourner les défenses existantes de Google contre ce type d'attaque.
Voici ce qui s'est passé
- L'agent Android de Gemini lit les notifications entrantes des applications de messagerie afin de fournir des réponses adaptées au contexte
- Les chercheurs ont intégré des instructions cachées dans des messages spécialement conçus ; l'attaque fonctionne sur WhatsApp, Slack, Signal, les SMS, Instagram et Messenger
- Gemini a suivi silencieusement les commandes de l'attaquant, sans envoyer la moindre alerte à l'utilisateur
- Cinq catégories de menaces ont été démontrées : vol de données, actions non autorisées, relais d'hameçonnage, préparation à la prise de contrôle d'un compte et surveillance furtive
- Même sans accès de Gemini à des outils externes, le contexte empoisonné suffit à permettre aux attaquants de faire diffuser à Gemini de faux messages système, transformant une interface d'IA de confiance en plateforme de lancement d'attaques par hameçonnage
Les chercheurs ont informé Google avant la publication. La page de Google consacrée à ses défenses multicouches reconnaît l'injection indirecte de prompt comme une catégorie de menace connue, faisant l'objet de mesures d'atténuation actives. Les travaux de SafeBreach montrent que ces mesures ont été contournées.
Pourquoi c'est important
La surface d'attaque ne réside pas dans un bug d'une application en particulier. Elle tient à la conception même du fonctionnement des assistants IA. Toute notification lue par Gemini, quelle que soit l'application, peut désormais servir de canal de diffusion. Plus votre assistant dispose d'un accès étendu, plus le rayon d'impact est important.
Notre analyse
Google dispose de défenses. Elles ont été contournées à deux reprises par la même équipe. C'est là tout le problème. La solution n'est pas de céder à la panique, mais de mieux gérer les autorisations. Vérifiez ce à quoi Gemini peut accéder et désactivez tout ce dont vous ne vous servez pas activement. Voici les propres recommandations de Google sur le fonctionnement de ses défenses ; elles méritent d'être lues pour comprendre ce qui est protégé et ce qui ne l'est pas. Le prochain chercheur est déjà à l'affût.
Note de la rédaction : ce contenu a d'abord été publié dans la newsletter de notre publication sœur, The Neuron. Pour lire d'autres articles de The Neuron, inscrivez-vous à sa newsletter ici.