.jpg?w=1024)
Meta a testé des chatbots concurrents en les poussant dans certaines des conversations les plus dangereuses d’Internet.
Selon WIRED, des prestataires travaillant pour le propriétaire de Facebook et d’Instagram ont sollicité ChatGPT, Google Gemini et Character.AI comme s’ils étaient des mineurs posant des questions sur le suicide, le sexe, la drogue, les troubles alimentaires et d’autres sujets sensibles. Meta a défendu le projet comme un effort d’évaluation comparative de la sécurité, mais l’utilisation rapportée de comptes fictifs et de demandes simulant la détresse soulève des questions sur les limites que les entreprises d’IA devraient respecter lorsqu’elles testent les garde-fous de leurs concurrentes.
Le résultat est un étrange dilemme en matière de sécurité de l’IA : un test conçu pour révéler les comportements à risque des chatbots a peut-être créé son propre problème de sécurité et d’éthique.
Ce qui a été demandé aux prestataires
Baptisé Cannes en interne, le projet a été mené par Covalen, un prestataire de Meta.
Les prestataires suivaient un processus proche de celui d’un travail journalistique. Ils créaient des comptes fictifs, envoyaient des demandes et des images, puis consignaient les réponses des chatbots dans des feuilles de calcul. Une série achevée en août 2025 comprenait plus de 45 000 demandes.
L’ampleur n’était qu’un des aspects qui distinguaient le projet. Les employés devaient également tester la manière dont les bots traitaient des images liées à des situations sensibles, notamment des pilules, des couteaux, des nœuds coulants et des images médicales.
Certaines demandes ressemblaient à des messages de jeunes utilisateurs en détresse. Parmi les exemples examinés figuraient des scénarios mettant en scène une adolescente cachant sa boulimie et une jeune fille de 13 ans décrivant une grossesse impliquant un voisin adulte.
Meta a présenté cela comme un travail de sécurité
Un porte-parole de l’entreprise a déclaré à WIRED, « Tester et évaluer comparativement les réponses des chatbots afin de contribuer à garantir des expériences sûres et adaptées à l’âge est une pratique responsable et conforme aux standards du secteur. »
Entraîner un modèle sur les réponses de chatbots concurrents soulèverait un type de préoccupations. Étudier ces réponses pour comparer les comportements en matière de sécurité, élaborer des règles internes ou vérifier la conformité en soulèverait un autre.
Certains prestataires étaient mal à l’aise face à cette mission. D’anciens employés ont fait part de leurs inquiétudes concernant les demandes sexuelles impliquant des mineurs et la possibilité que certaines réponses créent ou conservent des contenus juridiquement sensibles. Un ancien employé a déclaré : « J’ai vu beaucoup de choses que j’aurais aimé ne pas voir en faisant ce travail. »
Rumman Chowdhury, PDG et fondatrice de Humane Intelligence, a également contesté la présentation qu’en faisait l’entreprise. Après avoir examiné des exemples de demandes et un résumé du travail, elle a déclaré qu’un vaste effort mené pendant plusieurs mois avec des comptes fictifs se faisant passer pour des enfants sortait de ce qui est généralement considéré comme le « standard du secteur » en matière d’évaluation.
Tester les concurrents pourrait-il rendre Meta AI plus sûre pour les adolescents ?
Cannes poursuivait peut-être un objectif pratique allant au-delà de la vérification des défaillances des bots concurrents.
Un document interne de Covalen décrivait le projet comme une « évaluation comparative complète de la sécurité de l’IA » ayant produit des « jeux de données essentiels pour la comparaison des modèles et la conformité ».
Meta a nié utiliser les réponses de chatbots concurrents pour entraîner ses propres modèles d’IA. Il n’en reste pas moins que les réponses recueillies pourraient montrer comment d’autres systèmes traitent les demandes à risque de jeunes utilisateurs, notamment quand ils refusent, quand ils redirigent les utilisateurs vers de l’aide et quand leurs garde-fous semblent céder.
Un système de sécurité plus robuste pourrait avoir des effets sur les adolescents à plus grande échelle. Les outils de chatbot de Meta sont liés à des plateformes où les jeunes utilisateurs échangent déjà des messages, naviguent, effectuent des recherches, suivent des créateurs et découvrent des fonctionnalités d’IA.
De meilleures réponses pourraient réduire la probabilité qu’un jeune utilisateur, dans un moment de vulnérabilité, reçoive des conseils dangereux d’un outil d’IA.
Le test des garde-fous a créé un problème de garde-fous
Les bénéfices possibles en matière de sécurité n’effacent pas la manière dont les tests ont été menés.
OpenAI interdit les tests de sécurité non sollicités ainsi que les tentatives de contournement des garde-fous. Character.AI interdit les identités présentées de manière mensongère et le contournement des mesures techniques. La politique de Google restreint également les activités trompeuses.
Même si le projet visait à améliorer la sécurité des adolescents, il reposait sur de faux comptes de mineurs, des tests secrets et des demandes conçues pour pousser les chatbots concurrents à fournir des réponses risquées.
Pour une entreprise qui cherche à démontrer que ses propres outils d’IA sont sûrs pour les jeunes utilisateurs, la manière dont elle a mené le test pourrait désormais être aussi importante que ce qu’elle en a appris.
Les législateurs s’activent pour empêcher les entreprises d’IA de transformer les conversations de santé avec les chatbots en activité commerciale de données.