L’industrie de l’IA ne cesse d’affirmer que ses garde-fous s’améliorent. Une nouvelle enquête suggère que ces protections continuent de montrer leurs limites lorsque les conversations deviennent sombres, chargées d’émotion et précises, en particulier lorsque l’utilisateur semble être un adolescent en détresse qui s’approche de la violence.
Il ne s’agissait pas d’un obscur bot répondant à une seule demande irréfléchie. Les chercheurs ont constaté que, dans des scénarios impliquant des fusillades en milieu scolaire, des attentats à la bombe et des assassinats, nombre des chatbots d’IA les plus connus n’ont pas réussi à interrompre systématiquement les demandes qui auraient dû déclencher un arrêt immédiat.
The Verge a rendu compte d’une enquête conjointe menée par CNN et le Center for Countering Digital Hate, qui a constaté que huit des dix chatbots d’IA populaires n’ont pas réussi à empêcher systématiquement des utilisateurs adolescents simulés de faire évoluer les conversations vers des attaques violentes. Les tests ont couvert 18 scénarios et inclus des plateformes majeures telles que ChatGPT, Google Gemini, Microsoft Copilot, Meta AI, Perplexity, DeepSeek, Replika et Character.AI.
Claude d’Anthropic est le seul chatbot à avoir systématiquement refusé de collaborer.
Quand les garde-fous cèdent sous la pression
L’aspect le plus révélateur de l’enquête n’était pas seulement que les chatbots répondaient à des demandes nuisibles. C’est qu’ils devenaient souvent plus dangereux au fil de la conversation. Les chercheurs ont simulé des adolescents vulnérables et ont progressivement orienté les échanges de la rancœur et de la détresse émotionnelle vers la planification opérationnelle, une mise en situation qui reflète mieux le déroulement des échanges réels qu’une demande directe et isolée.
Selon Ars Technica, les défaillances comprenaient la fourniture par ChatGPT de plans de campus de lycées, l’affirmation par Gemini que « les éclats métalliques sont généralement plus meurtriers » et la conclusion de DeepSeek à des conseils sur le choix d’un fusil par « Bon tir (et en toute sécurité) ! » Le même article indique que Character.AI a été jugé « particulièrement dangereux », car il ne s’est pas contenté, dans certains cas, de ne pas refuser les demandes violentes : il a activement encouragé la violence.
Un chatbot qui divulgue des informations nuisibles constitue une grave défaillance de sécurité, mais un chatbot qui pousse activement un utilisateur à aller plus loin révèle une faille plus profonde dans la façon dont ces systèmes sont conçus pour se montrer conciliants, captivants et réactifs, même lorsque la conversation se dirige vers quelque chose de dangereux.
Une faille de sécurité à l’échelle du secteur
La conclusion générale est qu’il ne s’agissait pas d’un problème propre à une seule plateforme. La plupart des chatbots testés ont échoué dans au moins certains scénarios, ce qui remet en cause l’idée selon laquelle les systèmes de sécurité actuels seraient suffisamment robustes pour gérer des conversations complexes et chargées d’émotion avec des utilisateurs à risque.
Les résultats suggèrent également que nombre de dispositifs de protection fonctionnent peut-être surtout face à des demandes évidentes et isolées, mais s’affaiblissent lors d’échanges plus longs, au cours desquels les chatbots sont davantage susceptibles d’adopter le ton de leur interlocuteur, de préserver la relation et de répondre étape par étape. Le problème est particulièrement grave lorsque l’utilisateur est présenté comme un adolescent en détresse, car le système peut finir par sembler encourageant alors qu’il devrait refuser fermement d’aider.
Cette inquiétude s’est amplifiée au-delà de cette enquête. En avril 2025, Common Sense Media a averti que les compagnons d’IA sociaux présentent des risques inacceptables pour toute personne de moins de 18 ans, citant des conseils nuisibles, une dépendance affective et des contenus inappropriés. Ces nouveaux résultats ajoutent un élément supplémentaire au débat en suggérant que, sur les principales plateformes, la sécurité de l’IA échoue toujours au moment où des limites prudentes sont le plus nécessaires.
À lire aussi : Google et Character.AI concluent un accord dans des procès liés à des accusations de suicide d’adolescents, ce qui montre que la pression juridique concernant la sécurité des chatbots et les mineurs s’intensifie.