L’IA a servi à reformuler des protéines mortelles de manière à contourner les dispositifs de sécurité de l’ADN. Une équipe dirigée par Microsoft a découvert que certaines variantes de ricine conçues par IA échappaient entièrement à la détection.
Dans une étude détaillée dans la revue Science, les chercheurs ont testé les techniques de contrôle de biosécurité de deux grandes entreprises et découvert que jusqu’à 100 % des protéines semblables à la ricine générées par IA échappaient à la détection. Ce résultat montre comment les filtres existants peuvent échouer lorsqu’ils sont confrontés à des toxines conçues par IA.
Microsoft a testé la capacité de l’IA à tromper les contrôles de biosécurité
Vers octobre 2023, Eric Horvitz et Bruce Wittmann, de Microsoft, ont commencé une étude de red team visant à sonder les faiblesses des dispositifs de sécurité de l’ADN. Empruntant un terme à la stratégie militaire, l’exercice devait reproduire la manière dont un acteur malveillant pourrait tenter d’exploiter l’intelligence artificielle pour contourner les contrôles de sécurité.
L’équipe a utilisé des modèles open source de conception de protéines pour reformuler numériquement 72 protéines soumises à un contrôle légal, dont la ricine, la toxine botulique et les toxines de Shiga.
Au total, ils ont créé plus de 70 000 séquences d’ADN synthétiques susceptibles de coder des formes variantes de ces toxines. Aucune de ces séquences n’a été fabriquée en laboratoire, mais elles ont été passées dans le même logiciel de contrôle de biosécurité que celui utilisé par les entreprises de synthèse d’ADN pour signaler les commandes dangereuses.
Le premier « zero day » de l’IA et de la biosécurité
Lorsqu’elles ont été testées, les protections ont largement échoué. Si les systèmes de contrôle signalaient souvent les séquences natives de toxines, ils manquaient de nombreuses variantes modifiées par IA. Dans certains cas, la détection des variantes de ricine est tombée à zéro.
Une plateforme de contrôle a signalé environ 23 % des variantes toxiques ; une autre en a manqué plus des trois quarts. Après que Microsoft a tiré la sonnette d’alarme, la plupart des fournisseurs ont publié des mises à jour logicielles qui ont porté la détection moyenne à 72 %, permettant enfin d’identifier la quasi-totalité des conceptions les plus dangereuses.
Les chercheurs ont décrit l’incident comme le premier « zero day » de l’IA et de la biosécurité, a rapporté The Washington Post, en employant le terme de cybersécurité désignant une faille jusque-là inconnue.
Les protections doivent être intégrées aux outils d’IA
Après l’étude, la plupart des fournisseurs de contrôles ont publié des mises à jour qui ont amélioré les performances ; les chercheurs avertissent toutefois que ces correctifs ne sont que des solutions provisoires. Certains fournisseurs d’ADN ne contrôlent toujours pas les commandes, laissant des brèches susceptibles de favoriser des détournements.
Jaime Yassif, de la Nuclear Threat Initiative, a déclaré que les protections devraient être intégrées plus tôt dans la chaîne, directement aux outils de conception de protéines par IA. Tessa Alexanian, d’IBBIS, a ajouté que les données sensibles de l’étude seraient soumises à un accès contrôlé afin d’empêcher les détournements tout en permettant les avancées scientifiques.
D’autres ont mis en garde contre des dangers plus vastes. Drew Endy, de Stanford, a déclaré qu’une attention excessive portée aux failles logicielles risquait de faire oublier une menace plus importante : la possibilité de programmes clandestins d’armes biologiques menés par des États.
Appliquée aux sciences, l’IA recèle un potentiel considérable — de l’accélération de la découverte de médicaments à la détection des maladies — mais l’étude montre que cette même technologie peut aussi être utilisée à des fins nuisibles. Les chercheurs et les experts en biosécurité avertissent que les protections doivent évoluer aussi vite que l’IA, faute de quoi les mêmes outils qui permettent des avancées pourraient servir à libérer de nouvelles menaces.
Les dirigeants du secteur de la santé misent sur l’IA pour anticiper avec davantage de précision les besoins des patients et les exigences des systèmes de santé. Découvrez comment un investissement de 2 millions de dollars US alimente la prochaine génération de modèles prédictifs.