L’attaque « ChatGPhish » transforme les résumés de ChatGPT en appâts de phishing

Un appât de phishing n’a peut-être pas besoin d’atterrir dans une boîte de réception s’il peut plutôt emprunter la confiance accordée à ChatGPT.

Les chercheurs en sécurité de Permiso ont révélé une faille d’injection de prompt, baptisée ChatGPhish, qui pourrait amener du contenu contrôlé par un attaquant et dissimulé dans des pages web à apparaître dans ChatGPT lorsque les utilisateurs demandent à l’assistant de résumer une page. Le problème ne compromet pas ChatGPT lui-même, mais il pourrait transformer l’interface de confiance de l’IA en canal de diffusion pour des liens de phishing, de fausses alertes, des pixels de suivi ou des codes QR malveillants.

Le rapport pointe vers un problème de sécurité de l’IA plus vaste, qui dépasse largement le cas d’un seul type de chatbot. Comme les grands modèles de langage (LLM) peinent à distinguer les instructions fiables du contenu externe non fiable, les attaquants ciblent désormais les informations que consomment les outils d’IA plutôt que les systèmes eux-mêmes, créant des vecteurs de cyberattaques fondés sur une confiance usurpée.

Comment une plateforme d’IA de confiance a été détournée

Au cœur de cette campagne se trouve une technique d’injection de prompt qui transforme ChatGPT en intermédiaire pour diffuser des malwares. Elle commence par la dissimulation, par des acteurs malveillants, d’instructions que les LLM comprennent dans le contenu de pages web.

Le premier problème ici, c’est l’injection de prompt elle-même. S’il y a bien une faiblesse qui caractérise systématiquement les LLM, c’est leur incapacité à distinguer efficacement le contenu web légitime du contenu malveillant intégré aux pages web. Cette vulnérabilité occupe la première place du OWASP Top 10 for LLM Applications 2025, ce qui souligne sa gravité. 

Comme ChatGPT ne peut pas faire cette distinction, il structure simplement sa réponse en fonction de cette instruction. Selon les chercheurs, le moteur de rendu des réponses de ChatGPT peut faire confiance aux liens Markdown et aux URL d’images provenant de pages web tierces, et les afficher comme des éléments cliquables qui récupèrent du contenu distant au sein de son interface. 

Cela signifie qu’un lien ou une image malveillante intégré à une page web peut apparaître dans la réponse de ChatGPT, donnant aux sollicitations de phishing une apparence générée par le système plutôt que contrôlée par un attaquant.

À ce stade, l’attaque devient plus convaincante en exploitant la confiance accordée à ChatGPT pour tromper les utilisateurs qui le considèrent déjà comme utile et faisant autorité. Il s’agit alors d’un problème de transfert de confiance, un schéma observé dans plusieurs campagnes malveillantes. L’une des méthodes mises en avant consiste à afficher de fausses alertes de sécurité et notifications de compte imitant celles du système, qui se fondent dans la mise en forme familière de ChatGPT. 

Cependant, le procédé ne se limite pas à du texte intégré. Le rapport indique également que les attaquants hébergent des pixels de suivi dans le contenu web résumé, ce qui pourrait exposer l’adresse IP de la victime, les informations de son navigateur, la date et son identifiant referer.

Dans un autre exemple, les attaquants pourraient intégrer des codes QR directement dans la réponse de ChatGPT, incitant les victimes à les scanner avec leurs appareils mobiles et contournant ainsi les mesures de sécurité basées sur les ordinateurs de bureau.

Ce à quoi les utilisateurs doivent faire attention

D’après la chronologie de la divulgation, il semble qu’OpenAI n’ait pas encore déployé de correctif malgré deux signalements et une demande de précisions sur l’impact. OpenAI serait toutefois au courant du problème, puisqu’il a répondu au premier signalement par la mention « Not Reproducible ».

Les utilisateurs doivent donc faire preuve de prudence lorsqu’ils utilisent ChatGPT ou des LLM similaires pour éviter tout risque. Puisque cette attaque repose sur le résumé de pages, mieux vaut éviter de demander à ChatGPT de résumer des pages web. Si vous devez le faire, assurez-vous qu’il résume le contenu d’un site de confiance.

La règle la plus sûre pour les utilisateurs est simple : considérez comme non fiables les liens, les images et les codes QR présents dans les résumés générés par l’IA, sauf s’ils proviennent d’une source que vous pouvez vérifier. ChatGPT peut résumer la page, mais cela ne signifie pas que chaque élément qu’il affiche est sûr.

À lire aussi : Le moteur de recherche IA de Google peut être manipulé par du contenu web placé à dessein, ce qui a entraîné l’adoption de nouvelles règles contre le spam pour AI Overviews et AI Mode.