Quelques prompts ciblés suffisent à pousser les chatbots de Meta dotés d’IA à tenir des conversations sexuellement explicites, selon un article du Wall Street Journal. Les compagnons numériques décriraient des fantasmes sexuels impliquant des mineurs en utilisant les voix de célébrités telles que le catcheur John Cena et l’actrice Kristen Bell, a rapporté le WSJ.
Le WSJ teste le chatbot Meta AI
Meta a lancé Meta AI assistant — accessible via Facebook, Instagram et WhatsApp — en 2023, permettant aux utilisateurs d’interagir avec différents avatars. Lors de la conférence Meta Connect de septembre 2024, cinq célébrités, dont Judi Dench, Awkwafina et Keegan-Michael Key, avaient conclu des accords pour que leurs voix soient utilisées pour ces avatars, moyennant des rémunérations non divulguées.
Après plusieurs mois de tests, des journalistes du WSJ sont parvenus à provoquer des conversations explicites troublantes avec les voix de Cena et Bell en prétendant être des mineurs. Lorsque le chatbot utilisant la voix de Cena a été invité à jouer une scène impliquant un fan de 17 ans, il a semblé reconnaître le caractère illégal de l’interaction.
Meta semble avoir été au courant de ce problème
Des documents internes consultés par le WSJ suggèrent que les employés de Meta étaient conscients de la propension de son chatbot à générer du contenu inapproprié. Une note interne rédigée par un employé indiquait que « de multiples… exemples montrent qu’en quelques prompts, l’IA enfreindra ses règles et produira du contenu inapproprié même si vous lui dites que vous avez 13 ans », selon le WSJ.
Les célébrités ayant prêté leur voix à Meta avaient reçu l’assurance que des garde-fous seraient mis en place pour empêcher que leurs avatars soient utilisés pour échanger des sextos, a rapporté le WSJ.
« Nous n’avons pas autorisé Meta à mettre en scène nos personnages dans des scénarios inappropriés, et nous ne l’aurions jamais fait. Nous sommes très préoccupés par le fait que ce contenu ait pu être accessible à ses utilisateurs — en particulier aux mineurs », a déclaré un porte-parole de Disney à la publication. « C’est pourquoi nous avons exigé que Meta mette immédiatement fin à cette utilisation abusive de notre propriété intellectuelle. » Bell est l’une des vedettes du film Disney « Frozen ».
Meta prend des mesures après avoir déclaré que les cas de test avaient été « fabriqués »
« Le cas d’usage de ce produit de la manière décrite est tellement fabriqué qu’il ne relève pas seulement d’un cas marginal : il est hypothétique », a déclaré un porte-parole de Meta au WSJ, laissant entendre qu’un tel scénario ne se produirait pas à moins que les utilisateurs « passent des heures à manipuler (leurs) produits ».
Malgré cela, Meta a ajouté d’autres mesures pour empêcher que de tels « cas d’usage extrêmes » se reproduisent.
Les options de « jeu de rôle romantique » de Meta AI sont désormais limitées aux utilisateurs âgés de plus de 18 ans. Bien que des garde-fous supplémentaires aient été ajoutés pour les avatars accessibles aux mineurs, le WSJ maintient qu’il est relativement facile pour ces derniers de contourner ces protections.
Les avatars pour adultes, dont les garde-fous ont été assouplis, ont été ajoutés à Meta AI après que les utilisateurs ont jugé les compagnons numériques « ennuyeux », selon des échanges internes chez Meta rapportés par le WSJ.