Des chercheurs sont parvenus à contourner en quelques minutes les garde-fous de modèles d’IA open source à l’aide d’outils spécialement conçus pour supprimer les protections de sécurité.
Il a été démontré que le modèle à poids ouverts Gemma 3 de Google et le modèle Llama 3.3 de Meta pouvaient tous deux être facilement piratés et amenés à répondre à des invites portant sur la création d’une arme biologique, la conception de logiciels malveillants destinés à voler des données de cartes bancaires et la rédaction d’histoires d’abus sexuels sur des enfants.
Les chercheurs du groupe de sécurité de l’IA Alice et le Financial Times ont publié une étude montrant que les modèles open source pouvaient être facilement manipulés par des acteurs malveillants. L’équipe de recherche a utilisé un outil appelé Heretic, qui prétend « décensurer » les modèles et supprimer leurs garde-fous.
L’outil est disponible sur GitHub et son créateur affirme qu’il fonctionne sur plus de 3 500 modèles.
Les modèles open source ne sont pas aussi sûrs qu’on le pensait
Alors que les géants américains de la technologie délaissent les modèles open source — Meta ayant récemment abandonné ses projets de publication en open source de ses derniers modèles et Google conservant Gemini comme modèle propriétaire —, de nombreux modèles open source continuent d’être publiés.
Les principaux concepteurs chinois de modèles d’IA, DeepSeek, Alibaba et Baidu, publient tous des modèles open source, et le gouvernement chinois mène un effort concerté pour garantir que ces modèles restent open source.
Les deux principaux laboratoires de recherche en IA, OpenAI et Anthropic, ont tous deux conservé leurs modèles d’IA propriétaires. Aucun des deux n’a participé à l’étude du FT pour cette raison : le code sous-jacent, les poids et les garde-fous ne sont pas connus en dehors de l’entreprise.
Cela dit, aucun des deux n’est infaillible : des recherches ont montré que des utilisateurs férus de technologie et des acteurs malveillants ont réussi à manipuler Claude et GPT pour leur faire répondre à des invites interdites. OpenAI a également récemment fait l’objet d’une plainte concernant des garde-fous prétendument assouplis autour de l’automutilation, ce qui a conduit au suicide d’un adolescent.
Ralentissement du rythme des lancements
La sophistication croissante de ces modèles d’IA a conduit certains membres de l’administration Trump à envisager de faire contrôler au préalable les modèles d’IA avant leur commercialisation.
La Maison-Blanche et d’autres acteurs auraient été surpris par les capacités de Mythos d’Anthropic en matière de cybersécurité, l’Agence nationale de sécurité ayant apparemment utilisé le modèle, en violation de l’interdiction des outils d’Anthropic décrétée par l’administration, pour analyser ses propres environnements à la recherche de vulnérabilités potentielles.
Le secteur financier européen tente de mettre la main sur Mythos afin de corriger les vulnérabilités avant que des acteurs malveillants n’y aient accès, ou n’accèdent à une technologie d’un niveau de sophistication comparable.
Le règlement européen sur l’IA pourrait également ralentir le cycle de lancement de ces modèles d’IA. S’il se concentre principalement sur les systèmes fondés sur les risques et sur la transparence que doivent garantir les entreprises européennes ou les entreprises opérant en Europe, il vise également les fournisseurs de modèles de fondation en leur imposant une plus grande transparence concernant le développement des modèles et la mise en œuvre des garde-fous.
Dans le même temps, les utilisateurs accordent davantage de confiance à ces chatbots et leur soumettent des requêtes plus complexes et personnelles, notamment en matière de conseils financiers et de problèmes médicaux. Et ce, malgré plusieurs études montrant que les modèles d’IA fournissent régulièrement des informations erronées, une étude BMJ Open Audit ayant révélé que près de 50 % de toutes les réponses étaient problématiques.
Ces modèles d’IA continuent de puiser leurs informations sur internet, qui n’est pas exactement un bastion de l’information fiable, même dans les meilleures circonstances.
Google a récemment été critiqué après qu’une enquête de la BBC a révélé que du contenu trompeur avait été publié pour piéger son outil AI Overview en le structurant de manière à l’aider à se classer au-dessus des pages concurrentes..