Le système de modération par IA de Discord a banni plus de 8 000 utilisateurs après que des images ont été signalées à tort comme contenu préjudiciable.
Le bug a affecté des comptes pendant environ deux mois, a rapporté TechCrunch.
Les images ayant déclenché de faux positifs comprenaient des feuilles de calcul, des échiquiers, des textures de jeux et de simples arrière-plans transparents. Discord a indiqué que 200 autres utilisateurs avaient été bannis pendant le week-end avant que l’entreprise n’identifie et ne corrige le problème.
Les comptes sont désormais restaurés, mais cet incident rappelle que la modération automatisée peut causer de véritables dommages lorsque les systèmes de vérification échouent.
Discord corrige un bug de modération
Selon TechCrunch, Discord a expliqué que son système est conçu pour comparer les images mises en ligne à des bases de données de contenus préjudiciables connus. Lorsque le système signale un contenu, un modérateur humain est censé le vérifier avant que Discord ne prenne des mesures.
Ce processus de vérification a déraillé. The Verge a rapporté que le bug entraînait le bannissement des utilisateurs signalés au lieu de bloquer temporairement la mise en ligne de contenus pendant la vérification. Discord a également indiqué qu’un autre bug empêchait certains bannissements d’être levés automatiquement après que le personnel avait vérifié les comptes et confirmé qu’ils ne posaient pas de problème.
En clair, Discord disposait d’une protection contre les faux positifs, mais le processus d’application des sanctions ne l’a pas suivie correctement.
Pour les utilisateurs, le résultat a été sans appel : des images inoffensives ont entraîné le bannissement de comptes. Pour Discord, une erreur de comparaison d’images s’est transformée en échec en matière de confiance et de sécurité, qui a touché des milliers de comptes avant d’être corrigée.
La vérification humaine reste essentielle
Les systèmes de modération automatisée peuvent agir plus vite que les équipes humaines, raison pour laquelle les grandes plateformes les utilisent pour repérer les contenus préjudiciables à grande échelle. Le risque apparaît lorsque des signalements automatisés déclenchent des mesures contre des comptes avant qu’une vérification ne permette de détecter une erreur.
Le cas de Discord montre pourquoi la supervision humaine doit encore avoir de véritables moyens d’action. Si un système peut retirer l’accès à un compte avant la fin d’une vérification, les équipes des plateformes doivent mettre en place des contrôles clairs pour empêcher qu’un signalement temporaire ne se transforme en bannissement définitif.
Cette inquiétude grandit à mesure que les entreprises utilisent l’IA pour les vérifications d’âge, les règles de contenu et les systèmes de sécurité des utilisateurs. Le déploiement par Meta de vérifications d’âge par IA a soulevé des questions sur la précision des données et sur la manière dont les plateformes gèrent les erreurs lorsque des systèmes automatisés ont une incidence sur l’accès.
La même pression se fait sentir dans les travaux sur la sécurité de l’IA. Des chercheurs ont constaté que certains garde-fous d’IA à poids ouverts pouvaient être rapidement affaiblis, ce qui constitue une raison supplémentaire pour les entreprises de tester leurs protections dans des conditions désordonnées et réalistes.
Les règles du secteur public évoluent elles aussi dans cette direction. L’ordonnance de la Californie sur les garde-fous contractuels pour l’IA pousse davantage les administrations à évaluer les risques avant d’utiliser des systèmes automatisés dans le cadre de leurs activités.
Pour les entreprises qui gèrent des communautés en ligne, des canaux de développeurs ou des espaces d’assistance client sur Discord, un bannissement injustifié peut ressembler à une panne. Perdre un compte peut signifier perdre l’accès aux conversations, aux serveurs, aux outils de modération et aux canaux de travail.
Les opérateurs de plateformes devraient désormais se poser trois questions pratiques : l’application automatisée des sanctions peut-elle prendre une mesure lourde de conséquences avant la fin de la vérification ? Une étape de vérification manquante serait-elle détectée rapidement ? Et lorsqu’un membre du personnel rétablit un compte, l’accès est-il automatiquement restauré ?
Discord affirme avoir corrigé le bug et restaurer les comptes concernés. La question est désormais de savoir si ses protections peuvent détecter une défaillance similaire avant qu’elle ne touche des milliers d’utilisateurs.
À lire aussi : outils de détection de l’IA varient selon le cas d’usage, la précision et les performances en conditions réelles, ce qui compte lorsque des systèmes automatisés prennent des décisions auxquelles les utilisateurs doivent se conformer.