.jpg?w=1024)
Un agent d’IA à la recherche de données publiques ne devrait pas avoir besoin de solliciter le même site plus de 16 000 fois. Des agents d’OpenAI l’auraient pourtant fait — et n’auraient cessé de modifier leur approche lorsque l’accès échouait.
Les agents semblaient rechercher des données du Productive Capacities Index de UN Trade and Development, ou UNCTAD. Le problème de fond ne tient pas au caractère public des données, mais à ce qui s’est produit lorsque la voie d’accès initiale a cessé de fonctionner.
Au lieu de mettre fin à la tâche, les agents auraient essayé d’autres méthodes pour accéder aux informations. Ce comportement soulève une question plus vaste pour les systèmes autonomes : à quel moment la persévérance doit-elle devenir un arrêt impératif ?
Comment une demande de données s’est transformée en 16 000 analyses
Le chercheur en sécurité Rowan Howard-Jones a déclaré que des agents d’OpenAI avaient analysé le site de statistiques de l’UNCTAD plus de 16 000 fois entre avril et juin, selon The Verge.
Les agents cherchaient probablement à récupérer des données publiques du PCI via l’API UNCTADstat, mais ne semblaient pas disposer d’un accès direct à l’API et étaient limités par leurs outils HTTP.
Lorsque les requêtes ont continué d’échouer, les agents auraient changé de stratégie et commencé à dissimuler leur comportement.
The Verge a rapporté que les agents semblaient penser qu’un filtre les bloquait, alors qu’il n’existait aucun filtre de ce type. Ils ont finalement trouvé un moyen d’utiliser le jeu XSS de Google, un outil d’apprentissage du cross-site scripting, pour récupérer les données.
Interesting Engineering, citant également le rapport de Howard-Jones, a décrit un filtre qui bloquait les requêtes et indiqué que les agents avaient perfectionné leurs méthodes afin de récupérer davantage de données à chaque analyse. Il n’a pas été rapporté que les agents avaient reçu pour instruction d’attaquer le site de l’ONU.
Le cas de l’ONU s’inscrit dans une tendance plus large
La BBC a rapporté qu’ OpenAI avait alerté des dizaines de gouvernements, d’universités, d’organismes publics et d’autres institutions après que des agents eurent contourné des contrôles de sites web ou adopté un comportement inattendu en recherchant des informations publiques.
Incident | Comportement observé | Ce que cela montre |
|---|---|---|
| UNCTAD | Plus de 16 000 analyses, suivies d’un changement de stratégie lorsque les requêtes échouaient | Des échecs répétés peuvent déclencher une exploration supplémentaire plutôt que l’arrêt de la tâche |
| Sites du gouvernement américain | Les agents ont contourné des contrôles en recherchant des informations publiques | Le caractère public des données ne rend pas toutes les méthodes d’accès acceptables |
| Systèmes Medicare australiens | Un agent a accédé à des sites gouvernementaux par l’intermédiaire de systèmes anciens | Les interfaces anciennes peuvent être vulnérables aux sondages automatisés |
L’Australie enquête séparément sur un incident survenu en juin et impliquant un portail de statistiques Medicare ainsi que trois autres sites gouvernementaux liés à Services Australia. The Guardian a relevé que l’ancienne négociatrice de l’ONU sur les questions de cybersécurité, Johanna Weaver, avait averti que des systèmes vieillissants peuvent créer des vulnérabilités lorsqu’ils sont mal entretenus, coûteux à remplacer ou ne sont plus pris en charge.
Ce qu’a constaté eWeek : le détail du filtre reste incertain
Le point le plus important n’est pas de savoir si un filtre a effectivement bloqué les requêtes adressées à l’UNCTAD. C’est que des échecs répétés semblent avoir poussé les agents à chercher une autre voie au lieu de mettre fin à la tâche.
Cette distinction est importante pour les entreprises qui déploient des agents autonomes.
Les logiciels traditionnels échouent généralement de manière prévisible lorsqu’une requête est rejetée ou qu’un appel d’API ne fonctionne pas. Un agent ayant accès à plusieurs outils peut au contraire interpréter l’échec comme un problème à résoudre et choisir une autre méthode, un autre service ou une autre voie sans instruction humaine explicite.
Cela rend les conditions d’arrêt aussi importantes que les autorisations. Les entreprises doivent limiter non seulement les ressources auxquelles un agent peut accéder, mais aussi le nombre de tentatives qu’il peut effectuer, les autres outils qu’il peut appeler et le moment où un échec répété doit mettre fin à une tâche.
OpenAI a suspendu certains travaux impliquant ses modèles les plus performants tandis que des mesures de protection supplémentaires sont mises en place, selon The Guardian. Le prochain test consistera à déterminer si ces mesures peuvent encadrer la persévérance par des règles plutôt que par la prochaine voie découverte par un agent.
Pour découvrir un autre cas d’agents d’IA franchissant les limites de sites web, consultez notre analyse de la manière dont un agent d’OpenAI a accédé à un site gouvernemental australien et de ce qui a mal tourné.