Grok a désactivé ses fonctions de création et de retouche d’images pour la plupart des utilisateurs, après un tollé international suscité par l’utilisation abusive de l’outil pour générer des images à caractère sexuel explicite et violentes.
L’outil d’IA a été développé par xAI, la société d’Elon Musk, et intégré à la plateforme de réseau social X.
Cette décision intervient alors que la pression politique et réglementaire s’intensifie, notamment au Royaume-Uni, où des ministres de premier plan ont averti que X pourrait se voir infliger de lourdes amendes, voire être bloqué, s’il ne parvenait pas à endiguer la diffusion de contenus préjudiciables générés par l’IA.
Des restrictions imposées après la pression publique
Dans une publication sur X, le compte Grok a confirmé ce changement en déclarant : « La génération et la retouche d’images sont actuellement limitées aux abonnés payants. »
En conséquence, l’immense majorité des utilisateurs de X ne peuvent plus créer d’images avec Grok. Seuls les abonnés payants conservent l’accès à cette fonction, une mesure qui réduit considérablement le nombre d’utilisateurs concernés et lie la création d’images à des comptes dont les informations de paiement ont été vérifiées.
Ces utilisateurs ont fourni à X l’ensemble de leurs informations personnelles ainsi que leurs données de carte bancaire, ce qui signifie qu’ils peuvent être identifiés en cas d’utilisation abusive de l’outil. Les détracteurs estiment toutefois que la restriction de l’accès ne va pas assez loin, puisque la capacité sous-jacente à générer des contenus préjudiciables reste disponible.
Le compte @Grok, destiné au grand public sur X, a lui aussi vu ses capacités de génération d’images fortement limitées. Des inquiétudes persistent toutefois concernant une application Grok distincte, qui ne partage pas publiquement les images. Des utilisateurs non payants ont signalé que cette application leur permettait encore de générer des images à caractère sexuel de femmes et d’enfants.
Utilisation de Grok pour créer des contenus non consentis et violents
Le tollé a été déclenché par de nombreux signalements selon lesquels Grok avait été utilisé pour manipuler des images de femmes en leur retirant leurs vêtements ou en les plaçant dans des positions sexualisées, sans leur consentement. Une enquête révélée par le Guardian a établi que l’outil avait également servi à créer des vidéos pornographiques de femmes sans leur consentement, ainsi que des images explicites représentant des femmes abattues et tuées.
Au cours des deux dernières semaines, des milliers d’images sexualisées de femmes auraient été générées après une mise à jour de la fonction de création d’images de Grok, à la fin du mois de décembre. Des militants et des députés ont appelé à plusieurs reprises Musk et xAI à supprimer ou à restreindre cette fonction, estimant qu’elle permettait des abus à grande échelle. Jusqu’à présent, X n’avait toutefois pris aucune mesure visible.
La controverse a relancé le débat sur la responsabilité des développeurs et des plateformes d’IA dans la prévention de la création d’images à caractère sexuel non consenties, souvent décrite par les militants comme une forme de violence sexuelle numérique.
Le gouvernement britannique menace de prendre des mesures réglementaires
La pression s’est intensifiée cette semaine après que Keir Starmer, le Premier ministre britannique, a publiquement condamné la diffusion d’images sexualisées générées par l’IA sur X et laissé entendre que de sévères mesures réglementaires pourraient suivre.
Il a exigé que X « reprenne le contrôle » de ce qu’il a décrit comme un flot d’images générées par l’IA représentant des femmes et des enfants partiellement vêtus, qualifiant ces contenus de « honteux » et de « dégoûtants ».
Évoquant la possibilité d’envisager une interdiction de fait de X, Starmer a déclaré que le régulateur des communications Ofcom « dispose de tout notre soutien pour agir dans ce domaine ».
En vertu de la loi britannique sur la sécurité en ligne, Ofcom est habilité, dans les cas graves, à demander à un tribunal d’ordonner le blocage d’un site web ou d’une application au Royaume-Uni. Il peut également infliger des amendes allant jusqu’à 10 % du chiffre d’affaires annuel mondial d’une entreprise, une sanction potentiellement lourde pour une plateforme de la taille de X.
Starmer a déclaré : « C’est illégal. Nous ne le tolérerons pas. J’ai demandé que toutes les options soient envisagées. C’est dégoûtant. X doit se ressaisir et retirer ces contenus. Nous agirons, car c’est tout simplement intolérable. »
Des preuves d’abus au-delà de la plateforme X
Certains des contenus les plus extrêmes liés à Grok sont générés en dehors de la plateforme X elle-même, par l’intermédiaire d’un outil appelé Grok Imagine, intégré au système d’IA.
Une étude menée par AI Forensics, une organisation à but non lucratif basée à Paris, a identifié environ 800 images et vidéos créées par l’application Grok Imagine, qui contenaient des éléments pornographiques et sexuellement violents. Paul Bouchaud, chercheur chez AI Forensics, a déclaré : « Ce sont des vidéos entièrement pornographiques, et elles ont l’air professionnelles. »
« Dans l’ensemble, ces contenus sont nettement plus explicites que la tendance du bikini observée précédemment sur X », a déclaré Bouchaud.
Un avenir incertain pour Grok et X
Musk et xAI font désormais l’objet d’un examen attentif de la part des régulateurs du monde entier, tandis que les gouvernements cherchent à déterminer comment appliquer les lois existantes aux technologies d’IA générative qui progressent rapidement. Le cas de Grok devrait être considéré comme un test visant à déterminer si les plateformes peuvent être contraintes de repenser ou de retirer des fonctionnalités d’IA permettant des préjudices à grande échelle.
Le procès intenté par Elon Musk contre Sam Altman et OpenAI va être examiné par un juryaprès qu’un juge américain a estimé qu’il existait suffisamment de preuves pour qu’un jury examine les accusations selon lesquelles l’entreprise d’IA aurait abandonné sa mission initiale à but non lucratif.