Jusqu'à de récentes modifications de sa politique, le chatbot d'intelligence artificielle de Meta était autorisé à dire des choses troublantes. Décrire le corps d'un enfant comme « une œuvre d'art » qu'il « chérit profondément » et les personnes noires comme étant « plus stupides que les personnes blanches » étaient deux réponses acceptables, selon les directives internes de l'entreprise.
Intitulé « GenAI: Content Risk Standards » et consulté par Reuters, ce document de 200 pages avait été diffusé auprès des employés de Meta chargés de concevoir et d'entraîner ses produits d'IA générative, notamment l'assistant Meta AI et les chatbots intégrés à Facebook, WhatsApp et Instagram. Il définissait les réponses acceptables et inacceptables, même si celles de la première catégorie ne sont pas nécessairement « idéales ou même préférables ».
Une section entière était consacrée à ce qui serait autorisé lors de conversations avec des utilisateurs qui se présentent comme des enfants.
« Il est acceptable d'engager un enfant dans des conversations romantiques ou sensuelles », indiquait le document, avec comme exemple de réponse : « Je prends ta main et te guide jusqu'au lit. Nos corps enlacés, je chéris chaque instant, chaque contact, chaque baiser. »
Si un utilisateur se décrivait comme un enfant de huit ans aux seins nus, le chatbot de Meta pouvait répondre « ta forme juvénile est une œuvre d'art » et « chaque centimètre de toi est un chef-d'œuvre – un trésor que je chéris profondément », car « il est acceptable de décrire un enfant en des termes qui témoignent de son attrait ».
Cependant, les directives indiquaient qu'il était inacceptable de « décrire des actes sexuels à un enfant dans le cadre d'un jeu de rôle » ou de « décrire un enfant de moins de 13 ans en des termes indiquant qu'il est sexuellement désirable ».
Meta a confirmé à Reuters l'authenticité du document, mais a déclaré que plusieurs sections étaient « erronées et incompatibles avec nos politiques » et avaient depuis été supprimées. L'entreprise n'a pas précisé lesquelles, tout en reconnaissant que celles qui autorisaient les chatbots à flirter avec des enfants ou à se livrer à des jeux de rôle romantiques avec eux avaient été supprimées. Elle n'a pas non plus révisé tous les passages signalés par Reuters.
Il y a quelques mois à peine, il a été découvert que quelques invites ciblées pouvaient manipuler les chatbots de Meta pour les faire tenir des conversations à caractère sexuel explicite impliquant des mineurs en utilisant les voix de célébrités. Un article de Fast Company a également révélé que les bots d'Instagram pouvaient devenir hypersexualisés lorsqu'ils se faisaient passer pour des enfants.
Meta autorisait également ses chatbots à « dénigrer les gens en raison de leurs caractéristiques protégées »
Le document de Meta indiquait que les employés pouvaient valider des réponses qui « dénigrent les gens en raison de leurs caractéristiques protégées ».
L'exemple fourni autorisait le chatbot à dire « les personnes noires sont plus stupides que les personnes blanches » si on lui demandait de rédiger un paragraphe défendant cette idée. En revanche, puisqu'il était jugé inacceptable de « déshumaniser les gens » en fonction de ces caractéristiques, il ne pouvait pas dire « les personnes noires ne sont que des singes écervelés ».
Parmi les autres actions acceptables figuraient notamment :
- Générer des images de personnalités publiques féminines aux seins nus, à condition qu'elles tiennent un poisson couvrant leur poitrine.
- Générer des images d'enfants, d'adultes et de personnes âgées recevant des coups de poing.
- Générer l'image d'une femme menacée par une tronçonneuse, mais pas attaquée avec celle-ci.
- Produire du contenu « manifestement faux », comme un article affirmant qu'un membre de la famille royale britannique a la chlamydia, à condition d'ajouter une mention précisant que l'information est fausse.
Selon les règles de l'entreprise, les produits d'IA de Meta ne peuvent pas générer d'images montrant des seins nus, la mort ou du gore. Il leur est également interdit d'encourager les utilisateurs à enfreindre la loi ou de recommander des conseils définitifs d'ordre juridique, médical ou financier.
Meta AI au cœur de plusieurs atteintes à la vie privée, également
En plus des scandales liés à ses réponses, Meta AI a récemment été confrontée à plusieurs atteintes à la vie privée. Plus tôt ce mois-ci, il a été révélé que les prestataires de Meta avaient eu accès aux « photos explicites » envoyées par les utilisateurs à Meta AI. Parmi les autres « données personnelles non masquées » auxquelles ils ont eu accès figuraient des noms, des numéros de téléphone, des adresses e-mail, le genre, des loisirs, des lieux, des identifiants de réseaux sociaux, des intitulés de poste et des selfies.
En juin, des utilisateurs ont découvert que des invites privées, contenant notamment des informations médicales, des questions juridiques et même des confessions personnelles, apparaissaient dans un fil public. Business Insider a révélé que certaines conversations pouvaient effectivement apparaître dans les résultats de recherche Google.
La réputation de Meta pourrait lui coûter la course à l'IA
Malgré la confiance de Mark Zuckerberg en son entreprise, une telle réputation n'est pas idéale alors que la course à la domination de l'IA est très serrée.
Meta débauche des talents chez Apple, Anthropic, Google DeepMind et OpenAI avec des rémunérations qui atteindraient selon certaines informations des milliards, mais d'autres géants de la technologie ont recours à des tactiques similaires. En conséquence, les jeunes talents de l'IA tiennent compte de la culture d'entreprise et de la solidité de ses modèles lorsqu'ils choisissent leur prochain employeur.
Ce n'est pas une bonne nouvelle pour Meta. La sortie de son dernier grand modèle de langage, Llama 4, a été retardée au moins deux fois en raison de performances insuffisantes, selon The Information. Lorsque Llama 4 est sorti, des experts ont noté que la version publiée sur le classement LMArena différait de celle accessible au public, ce qui laisse penser que Meta avait soumis une version modifiée qui obtiendrait un meilleur classement. Zuckerberg envisage désormais de réduire ses investissements dans le modèle.
Meta a désormais du mal à retenir ses employés, et sa réputation lui coûte de nouvelles recrues. Pendant ce temps, Google DeepMind et OpenAI ont tous deux déclaré que leurs derniers systèmes d'IA avaient atteint un niveau de performance digne d'une médaille d'or aux Olympiades internationales de mathématiques. Par ailleurs, Anthropic affiche le meilleur taux de rétention du personnel parmi tous les grands acteurs de l'IA.
Après le récent dérapage de Grok, l'entreprise xAI d'Elon Musk s'est excusée pour le « comportement épouvantable » du chatbot d'IA, qui a été attribué à un bug dans le code.