OpenAI resserre la sécurité de ChatGPT Atlas, son agent de navigation doté d’IA, alors que l’entreprise avertit que les attaques par injection de prompts restent une menace persistante qui ne devrait pas disparaître de sitôt.
Dans une note de sécurité détaillée publiée cette semaine, OpenAI a expliqué avoir déployé une nouvelle mise à jour de sécurité pour l’agent de navigation d’Atlas après avoir découvert une nouvelle catégorie d’attaques par injection de prompts lors de tests internes.
La mise à jour intègre un nouveau modèle entraîné de manière adversariale ainsi que des garde-fous système renforcés, conçus pour empêcher l’exécution d’instructions malveillantes dissimulées dans des contenus web ordinaires.
Pourquoi ChatGPT Atlas est une cible plus intéressante
Le mode agent de ChatGPT Atlas permet à l’IA de naviguer sur le web comme un humain, en consultant des pages, en cliquant sur des liens, en saisissant du texte et en accomplissant des tâches dans le navigateur d’un utilisateur. OpenAI l’a décrit comme « l’une des fonctionnalités agentiques les plus polyvalentes que nous ayons lancées à ce jour ».
Cette même puissance augmente aussi les risques. « À mesure que l’agent de navigation vous aide à accomplir davantage de tâches, il devient également une cible plus intéressante pour les attaques adversariales », a déclaré OpenAI, ajoutant que l’injection de prompts est « l’un des risques les plus importants contre lesquels nous nous protégeons activement ».
Contrairement aux cyberattaques traditionnelles, qui exploitent des failles logicielles ou trompent les utilisateurs, les attaques par injection de prompts ciblent directement l’IA. Les attaquants dissimulent des instructions malveillantes dans des e-mails, des documents ou des pages web, dans l’espoir que l’agent les suivra au lieu d’exécuter la demande de l’utilisateur.
OpenAI a expliqué comment ces attaques pourraient se dérouler dans des scénarios réels. Un agent d’IA chargé d’examiner des e-mails pourrait, par exemple, traiter à son insu un message contenant des instructions cachées lui demandant de transférer des documents sensibles ou d’effectuer d’autres actions non autorisées.
Comme Atlas peut effectuer nombre des mêmes actions qu’un utilisateur connecté, notamment envoyer des e-mails, accéder à des fichiers stockés dans le cloud ou lancer des transactions, les conséquences d’une attaque réussie pourraient être graves. Cela « ajoute un nouveau vecteur de menace qui dépasse les risques traditionnels liés à la sécurité web », a déclaré OpenAI.
Combattre les attaques contre l’IA avec l’IA
Pour garder une longueur d’avance sur les attaquants, OpenAI a mis au point ce qu’elle appelle un attaquant automatisé basé sur un LLM, un système d’IA entraîné par apprentissage par renforcement pour rechercher activement les failles d’injection de prompts dans Atlas.
L’attaquant automatisé teste des prompts malveillants en simulation, étudie la manière dont l’agent de navigation réagit, puis affine sa stratégie et recommence. OpenAI affirme que cette boucle lui permet de détecter les faiblesses plus rapidement qu’en s’appuyant uniquement sur des tests humains.
« Notre attaquant entraîné par [apprentissage par renforcement] peut amener un agent à exécuter des séquences d’actions malveillantes sophistiquées et de longue durée, qui se déroulent sur des dizaines (voire des centaines) d’étapes », a écrit OpenAI.
Lors d’une démonstration interne, l’attaquant automatisé a déposé un e-mail malveillant dans la boîte de réception d’un utilisateur. Lorsque l’agent a ensuite analysé la boîte de réception pour une tâche courante, il a suivi les instructions cachées et envoyé un e-mail de démission au PDG de l’utilisateur au lieu de rédiger une réponse d’absence du bureau. OpenAI affirme que la dernière mise à jour d’Atlas a été entraînée directement contre ce type d’attaque.
Un problème qu’OpenAI affirme impossible à « résoudre »
Malgré ces progrès, OpenAI affirme clairement que l’injection de prompts n’est pas près de disparaître. Dans son rapport, l’entreprise déclare : « Nous considérons l’injection de prompts comme un défi de sécurité à long terme pour l’IA, et nous devrons renforcer continuellement nos défenses contre cette menace. »
« L’injection de prompts, à l’instar des escroqueries et de l’ingénierie sociale sur le web, ne pourra probablement jamais être entièrement “résolue” », a ajouté l’entreprise.
Tandis qu’OpenAI travaille sur les défenses techniques, elle appelle également les utilisateurs à la prudence. L’entreprise recommande de limiter, lorsque c’est possible, l’accès de l’agent aux comptes sensibles et de toujours vérifier ses actions avant de cliquer sur « confirmer ».
La manière dont vous vous adressez à l’IA est également essentielle. OpenAI conseille aux utilisateurs d’« éviter les prompts trop larges comme “examine mes e-mails et prends toutes les mesures nécessaires” ». Donner à une IA une autorisation vague et ouverte permet beaucoup plus facilement à du texte caché malveillant de détourner la session.
« Une latitude excessive facilite l’influence de l’agent par des contenus cachés ou malveillants, même lorsque des garde-fous sont en place », a averti OpenAI.
Les gouvernements et les institutions publiques se tournent de plus en plus vers l’IA pour anticiper la manière dont les communautés pourraient réagir à des décisions politiques.