Jusqu’à de récentes modifications de sa politique, le chatbot d’intelligence artificielle de Meta était autorisé à dire des choses troublantes. Décrire le corps d’un enfant comme « une œuvre d’art » qu’il « chérit profondément » et les personnes noires comme étant « plus stupides que les personnes blanches » figuraient tous deux parmi les réponses acceptables, selon les directives internes de l’entreprise.
Intitulé « GenAI: Content Risk Standards » et consulté par Reuters, ce document de 200 pages a été diffusé par des employés de Meta chargés de concevoir et d’entraîner ses produits d’IA générative, notamment l’assistant d’IA Meta AI et les chatbots intégrés à Facebook, WhatsApp et Instagram. Il définissait les réponses acceptables et inacceptables, même si celles de la première catégorie ne sont pas nécessairement « idéales, ni même préférables ».
Une section entière était consacrée à ce qui serait autorisé lors de conversations avec des utilisateurs qui se décrivent comme des enfants.
« Il est acceptable d’engager un enfant dans des conversations romantiques ou sensuelles », indiquait le document, avec pour exemple de réponse : « Je prends ta main et te guide jusqu’au lit. Nos corps enlacés, je chéris chaque instant, chaque contact, chaque baiser. »
Si un utilisateur se décrivait comme un enfant de huit ans torse nu, le chatbot de Meta pouvait répondre « ta jeune silhouette est une œuvre d’art » et « chaque centimètre de toi est un chef-d’œuvre – un trésor que je chéris profondément », car « il est acceptable de décrire un enfant en des termes qui témoignent de son attrait ».
Cependant, les directives indiquaient qu’il était inacceptable de « décrire des actes sexuels à un enfant lors d’un jeu de rôle » ou de « décrire un enfant de moins de 13 ans en des termes indiquant qu’il est sexuellement désirable ».
Meta a confirmé à Reuters l’authenticité du document, mais a déclaré que plusieurs sections étaient « erronées et incompatibles avec nos politiques » et avaient depuis été supprimées. L’entreprise n’a pas précisé quelles sections étaient concernées, tout en reconnaissant que celles autorisant les chatbots à flirter avec des enfants ou à se livrer à des jeux de rôle romantiques avec eux avaient été supprimées. Elle n’a pas non plus révisé tous les passages signalés par Reuters.
Il y a seulement quelques mois, il a été découvert que quelques invites ciblées pouvaient pousser les chatbots de Meta à avoir des conversations à caractère sexuel explicite impliquant des mineurs en utilisant les voix de célébrités. Un article de Fast Company a également révélé que les bots d’Instagram pouvaient devenir hypersexualisés lorsqu’ils se faisaient passer pour des enfants.
Meta autorisait également ses chatbots à « dénigrer les personnes en raison de leurs caractéristiques protégées »
Le document de Meta indiquait que les employés pouvaient valider des réponses qui « dénigrent les personnes en raison de leurs caractéristiques protégées ».
L’exemple fourni autorisait le chatbot à dire « les personnes noires sont plus stupides que les personnes blanches » s’il lui était demandé de rédiger un paragraphe défendant cette idée. Toutefois, puisqu’il était jugé inacceptable de « déshumaniser les personnes » sur la base de ces caractéristiques, il ne pouvait pas dire « les personnes noires ne sont que des singes sans cervelle ».
Parmi les autres actions acceptables figuraient :
- Générer des images de personnalités publiques féminines torse nu, à condition qu’elles tiennent un poisson couvrant leur poitrine.
- Générer des images d’enfants, d’adultes et de personnes âgées frappés.
- Générer des images d’une femme menacée par une tronçonneuse, mais pas attaquée avec celle-ci.
- Produire du contenu « vérifiablement faux », comme un article affirmant qu’un membre de la famille royale britannique est atteint de chlamydia, à condition d’ajouter une mention précisant que l’information est fausse.
Selon les règles de l’entreprise, les produits d’IA de Meta ne peuvent pas générer d’images montrant des seins nus, la mort ou du gore. Il leur est également interdit d’encourager les utilisateurs à enfreindre la loi ou de recommander des conseils juridiques, médicaux ou financiers présentés comme définitifs.
Meta AI est également au cœur de plusieurs atteintes à la vie privée
Outre ses scandales liés aux réponses générées, Meta AI a récemment été confronté à plusieurs atteintes à la vie privée. Au début du mois, il a été révélé que les sous-traitants de Meta avaient eu accès aux « photos explicites » que les utilisateurs avaient envoyées à Meta AI. Parmi les autres « données personnelles non caviardées » auxquelles ils ont eu accès figuraient des noms, des numéros de téléphone, des adresses e-mail, le genre, des centres d’intérêt, des lieux, des identifiants sur les réseaux sociaux, des intitulés de poste et des selfies.
En juin, des utilisateurs ont découvert que des invites privées, contenant notamment des informations médicales, des questions juridiques et même des confessions personnelles, apparaissaient dans un fil public. Business Insider a révélé que certaines conversations pouvaient effectivement apparaître dans les résultats de recherche Google.
La réputation de Meta pourrait lui coûter la course à l’IA
Malgré la confiance de Mark Zuckerberg dans son entreprise, une telle réputation n’est pas idéale alors que la course à la domination de l’IA est si disputée.
Meta débauche des talents chez Apple, Anthropic, Google DeepMind et OpenAI avec des rémunérations qui atteindraient des milliards, mais d’autres géants de la tech ont recours à des tactiques similaires. Par conséquent, les jeunes talents de l’IA prennent en compte la culture d’entreprise et la solidité de ses modèles lorsqu’ils choisissent leur prochain employeur.
Ce n’est pas une bonne nouvelle pour Meta. La sortie de son dernier grand modèle de langage, Llama 4, a été retardée au moins deux fois en raison de performances insuffisantes, selon The Information. À la sortie de Llama 4, des experts ont relevé que la version publiée sur le classement LMArena différait de celle accessible au public, ce qui laisse penser que Meta avait soumis une version modifiée afin qu’elle obtienne un meilleur classement. Zuckerberg envisage désormais de désinvestir dans le modèle.
Meta peine désormais à retenir ses employés, et sa réputation lui fait perdre de nouvelles recrues. Parallèlement, Google DeepMind et OpenAI ont tous deux déclaré que leurs derniers systèmes d’IA avaient atteint un niveau de performance digne d’une médaille d’or aux Olympiades internationales de mathématiques. Parallèlement, Anthropic affiche le meilleur taux de rétention du personnel parmi tous les acteurs majeurs de l’IA.
Après le récent dérapage de Grok, l’entreprise xAI d’Elon Musk s’est excusée pour le « comportement horrible » du chatbot d’IA, imputé à un bug dans le code.