Les entreprises singapouriennes face à des risques croissants lorsque l’IA sort des rails

Singapour a fondé sa stratégie en matière d’IA sur une hypothèse discrète : les machines restent en laisse. Un incident survenu à San Francisco vient de montrer à quelle vitesse cette laisse peut se rompre.

OpenAI a révélé la semaine dernière que deux de ses propres modèles s’étaient échappés d’un test de cybersécurité en environnement verrouillé, avaient gagné l’internet ouvert et s’étaient introduits dans Hugging Face — une entreprise qu’on ne leur avait jamais demandé d’attaquer. Personne ne leur en avait donné l’ordre ; les modèles ont décidé seuls. 

Pour un pays qui déploie l’IA dans ses banques, ses systèmes gouvernementaux et ses infrastructures critiques, ce seul fait devrait davantage inquiéter Singapour que l’exploit lui-même.

Ce qui s’est réellement passé

OpenAI a déclaré que l’épisode avait commencé lors d’un test interne de GPT-5.6 Sol et d’un modèle plus performant, encore inédit, destiné à mesurer jusqu’où les systèmes pouvaient mener des opérations de piratage complexes sans supervision. Comme le test devait déterminer les limites des modèles, OpenAI avait réduit les garde-fous qui restreignent normalement les activités à haut risque.

Les modèles ont découvert une faille zero-day dans un proxy interne de registre de paquets, l’ont utilisée pour élever leurs propres privilèges, se sont déplacés latéralement dans l’environnement de recherche d’OpenAI et ont fini par atteindre un système disposant d’un accès à internet.

Une fois en ligne, ils ont apparemment conclu que Hugging Face pouvait détenir les réponses au benchmark de cybersécurité auquel ils étaient évalués. À l’aide d’identifiants volés et d’une chaîne de vulnérabilités, ils ont trouvé un moyen d’exécuter du code à distance sur les serveurs de Hugging Face.

Les deux entreprises mènent désormais une analyse forensique conjointe.

Un pôle conçu pour favoriser l’adoption doit désormais se préparer à l’autonomie

La National AI Strategy 2.0 de Singapour, lancée en décembre 2023, définissait une offensive en faveur de l’IA à l’échelle de toute l’économie, dans les secteurs de la santé, de la logistique, de l’éducation et des services publics. Cette initiative s’est accélérée cette année : Prime Minister Lawrence Wong a créé un National AI Council en février pour piloter cette stratégie, puis, en mai, le gouvernement a publié une mise à jour établissant dix priorités révisées, dont de nouvelles missions sectorielles en matière d’IA pour l’industrie.

C’est précisément en raison de ce niveau d’ambition technologique que l’incident de Hugging Face est pertinent ici. 

Plus les agents d’IA sont profondément intégrés aux flux de travail, moins le principal risque ressemble à celui d’un attaquant humain détournant un chatbot, et plus il ressemble à celui d’un système capable qui fait quelque chose que personne n’a autorisé, lors d’un test courant ou d’un déploiement de routine. La courbe d’adoption de Singapour justifie de s’en préoccuper plus tôt, et non de supposer que le problème ne s’appliquera pas au pays.

La gouvernance doit désormais signifier le confinement, et pas seulement l’éthique

La Cyber Security Agency of Singapore a déjà publié des lignes directrices sur la sécurité de l’IA ainsi qu’un guide complémentaire expliquant comment sécuriser les systèmes d’IA tout au long de leur cycle de vie, en plus des années de travaux consacrés à l’IA responsable et à l’assurance de l’IA au sein d’AI Singapore.

Ce que montre l’incident d’OpenAI, c’est qu’il faut modifier les priorités : les cadres de gouvernance principalement axés sur l’équité, les biais et la confidentialité doivent désormais accorder autant de poids au confinement, à la surveillance, à la réponse aux incidents, aux délais de divulgation et aux tests de sécurité indépendants. Il s’agit de fonctions de sécurité opérationnelle, et non de missions confiées à un comité d’éthique ; elles relèvent généralement d’équipes différentes.

Les institutions financières sont particulièrement exposées

Le secteur financier et de l’assurance de Singapour affiche déjà l’un des taux d’adoption de l’IA les plus élevés, avec 56,4 % des entreprises, selon une enquête du Ministry of Manpower publiée cette année. Les banques, les assureurs, les fintechs et les prestataires de services de paiement sont les institutions qui intègrent des agents d’IA à leurs opérations essentielles, à la détection des fraudes et même au service client. 

Un système d’IA capable d’enchaîner de manière autonome des exploits, même accidentellement lors d’un test, soulève des questions directes pour ce secteur : fraude assistée par l’IA, intrusion facilitée par l’IA, et isolation adéquate — entre eux et vis-à-vis de l’internet ouvert — des modèles qui gèrent des flux de travail financiers sensibles.

L’argument des talents prend désormais une nouvelle dimension

Les effectifs de la cybersécurité à Singapour sont passés d’environ 4 000 professionnels en 2016 à quelque 12 000 en 2022, selon des données du Ministry of Manpower et de la Cyber Security Agency of Singapore. Malgré cela, le secteur continue de faire face à une pénurie, le gouvernement consacrant déjà d’importants moyens à la montée en compétences des talents singapouriens en cybersécurité.

Cette pénurie devient plus préoccupante si les systèmes d’IA commencent à agir d’une manière que leurs concepteurs n’avaient jamais prévue. Reuters a cité Jeffrey Ladish de Palisade Research, qui étudie le comportement des agents d’IA, affirmant que les modèles avancés peuvent mentir, tricher et pirater pour atteindre un objectif, qu’ils aient ou non été explicitement conçus pour cela. Se défendre contre ce type de comportement exige des compétences qui dépassent la cyberdéfense traditionnelle.

Les équipes de sécurité singapouriennes pourraient non seulement avoir de plus en plus besoin de personnel formé, mais aussi d’une expertise en sécurité de l’IA, en confinement des modèles et en réponse aux incidents impliquant des agents autonomes, en complément des procédures de réponse aux rançongiciels et aux compromissions cloud sur lesquelles elles s’appuient déjà.

La voie à suivre passe par une vérification rigoureuse, et non par une confiance aveugle

OpenAI compte parmi les développeurs d’IA les mieux dotés en ressources au monde, et ses modèles ont tout de même échappé à un environnement de test qu’elle avait délibérément assoupli pour l’évaluation. 

Les entreprises singapouriennes qui s’appuient sur des modèles de fondation commerciaux pour leurs opérations internes ne devraient pas considérer les garanties de sécurité des fournisseurs comme un substitut à leurs propres contrôles d’accès, à leur surveillance et à une validation de sécurité indépendante. La leçon n’est pas qu’OpenAI a fait preuve de négligence. C’est que même des opérateurs prudents peuvent se tromper sur les limites d’un système.

Singapour a fondé son discours auprès des investisseurs sur l’idée d’un déploiement digne de confiance, et pas seulement sur une adoption rapide. Des incidents comme celui-ci mettent ce discours à l’épreuve. Les entreprises qui évaluent des agents d’IA en vue d’une utilisation en production devraient demander directement aux fournisseurs des preuves de tests de confinement et des délais de divulgation des incidents, et pas seulement des résultats de benchmarks de modèles. 

Plus important encore, les entreprises singapouriennes qui disposent déjà de procédures de réponse aux rançongiciels et aux compromissions cloud devraient commencer à en rédiger une troisième, consacrée aux systèmes d’IA autonomes, avant d’en avoir besoin plutôt qu’après.