Qu’est-ce qu’une hallucination de l’IA ? Décoder les délires numériques

Lorsqu’un système d’intelligence artificielle génère des informations fausses ou trompeuses, on parle d’hallucination de l’IA. Les hallucinations de l’IA peuvent être négatives et offensantes, complètement inexactes, humoristiques, ou simplement créatives et inhabituelles. Certaines hallucinations de l’IA sont faciles à repérer, tandis que d’autres peuvent être plus subtiles et passer inaperçues. Si les utilisateurs ne parviennent pas à identifier une hallucination de l’IA lorsqu’elle se produit et la prennent pour un fait, cela peut entraîner toute une série de problèmes. Bien que les hallucinations de l’IA ne soient pas intrinsèquement nuisibles, elles ne reposent ni sur les faits ni sur la logique et doivent être considérées comme telles. Voici ce que vous devez savoir à leur sujet pour garantir une utilisation réussie et fiable de l’IA.

À RETENIR

• •Les hallucinations de l’IA se produisent lorsqu’un modèle d’IA génère un résultat factuellement incorrect, trompeur ou dépourvu de sens. Identifier les différents types d’hallucinations de l’IA est essentiel pour atténuer les risques potentiels. (Aller à la section)
• •Les hallucinations de l’IA peuvent entraîner de graves problèmes. Il est important de reconnaître leurs répercussions dans le monde réel lors de la conception de stratégies d’atténuation efficaces et de lignes directrices pour un développement responsable de l’IA. (Aller à la section)
• •
• Associer expertise technique et expertise humaine peut aider à détecter et à traiter efficacement les hallucinations de l’IA. Identifier les signaux d’alerte précoces et mettre en place une surveillance continue peut contribuer à traiter les hallucinations de manière proactive. (Aller à la section)

Qu’est-ce qu’une hallucination de l’IA ?

Les modèles d’IA, en particulier l’IA générative et les grands modèles de langage (LLM), ont gagné en complexité en matière de données et de requêtes qu’ils peuvent traiter. Ils génèrent des réponses intelligentes, des images, de l’audio et d’autres résultats qui correspondent généralement aux demandes et aux attentes des utilisateurs. Cependant, les modèles d’IA sont loin d’être infaillibles : les énormes volumes de données d’entraînement, les algorithmes complexes et les processus décisionnels opaques peuvent amener les plateformes d’IA à « halluciner » ou à générer des informations incorrectes.

Dans un exemple réel très médiatisé, une hallucination de l’IA a conduit à la rédaction d’un document juridique faisant référence à des précédents judiciaires inexistants, illustrant les problèmes que peuvent entraîner ces résultats peu fiables. Cependant, les hallucinations de l’IA ne sont pas toujours négatives. Tant que vous savez à quoi vous avez affaire, certaines hallucinations de l’IA, notamment dans l’audio et les visuels, peuvent apporter des éléments intéressants pour le brainstorming créatif et le développement de projets.

Le chatbot IA ChatGPT tente de traduire en anglais le « lojban », une langue fictive.

Gemini de Google traduit en français la langue inventée « Lobjan ».

Types d’hallucinations de l’IA

Les hallucinations de l’IA peuvent prendre de nombreuses formes, des faux positifs et faux négatifs à la génération massive de désinformation.

Faux positifs

Les faux positifs se produisent lorsqu’un système d’IA identifie à tort la présence de quelque chose alors qu’il n’y en a pas — par exemple, lorsqu’un filtre anti-spam classe un e-mail important comme courrier indésirable. Ce type d’hallucination découle souvent d’une optimisation excessive du modèle d’IA visant à réduire les faux négatifs, ce qui augmente la probabilité de faux positifs.

Faux négatifs

Un faux négatif survient lorsqu’un algorithme d’IA ne détecte pas un objet ou un attribut pourtant présent. L’algorithme produit un résultat négatif alors qu’il aurait dû être positif, par exemple lorsqu’un système de sécurité ne repère pas un intrus ou qu’un outil d’imagerie médicale ne détecte pas une tumeur. L’incapacité d’un modèle d’IA à saisir des schémas subtils ou des anomalies dans les données est souvent à l’origine de ces erreurs.

Génération de désinformation

Ce type d’hallucination de l’IA est le plus préoccupant, car il se produit lorsqu’une IA invente des informations qu’elle présente comme factuelles. Cela peut impliquer la génération d’histoires entièrement fictives ou la manipulation d’informations factuelles. Ces hallucinations trouvent souvent leur origine dans l’exposition du modèle d’IA à des données d’entraînement biaisées ou inexactes

Causes des hallucinations de l’IA

On ne comprend pas toujours clairement comment ni pourquoi les hallucinations de l’IA se produisent, ce qui explique en partie pourquoi elles sont devenues un problème si important. Les utilisateurs ne sont pas toujours en mesure d’identifier les hallucinations au moment où elles surviennent, et les développeurs d’IA ne peuvent souvent pas déterminer quelle anomalie, quel problème d’entraînement ou quel autre facteur a pu conduire à un tel résultat.

Les algorithmes d’IA très complexes sont conçus pour imiter le cerveau humain, ce qui leur permet de traiter des demandes d’utilisateurs plus complexes et multidimensionnelles. Cependant, cela leur confère également un niveau d’indépendance et d’autonomie qui rend plus difficile la compréhension de la manière dont ils parviennent à certaines décisions.

Problèmes de qualité des données

La qualité et la quantité des données d’entraînement influencent fortement les performances d’un modèle d’IA. Les modèles d’IA sont généralement entraînés sur d’immenses jeux de données collectés auprès de diverses sources, qui peuvent contenir des données potentiellement incomplètes, obsolètes ou biaisées. Par exemple, un modèle de langage entraîné sur un jeu de données couvrant peu un sujet donné peut générer des informations erronées ou trompeuses. Des données bruitées ou corrompues peuvent également perturber un modèle d’IA et l’amener à produire des résultats inexacts et peu fiables.

Surajustement du modèle

Le surajustement peut entraîner des prédictions confiantes mais inexactes. Il se produit lorsqu’un modèle devient trop complexe et trop adapté aux données d’entraînement, ce qui se traduit par de mauvaises performances sur de nouvelles données. Lorsqu’un modèle surajusté reçoit de nouvelles entrées, il peut produire des résultats inexacts, car il a mémorisé les données d’entraînement au lieu d’en apprendre les schémas sous-jacents. Pour éviter cela, fournissez au modèle suffisamment de données contextuelles et diversifiées pendant le processus d’entraînement.

Biais algorithmique

Le biais algorithmique désigne les erreurs ou inexactitudes systématiques qui se produisent dans les modèles d’IA en raison de l’algorithme utilisé pour les entraîner. Un modèle d’IA entraîné sur des données favorisant un certain groupe ou point de vue peut produire un contenu biaisé ou discriminatoire. Un modèle de langage entraîné sur des données comportant des stéréotypes liés au genre peut générer des résultats qui renforcent ces biais. Pour lutter contre le biais algorithmique, il faut nettoyer les données, concevoir soigneusement les modèles et assurer une surveillance et une évaluation continues.

Manque de compréhension contextuelle

Les modèles d’IA peinent souvent à gérer les nuances propres au contexte, ce qui entraîne des hallucinations. Par exemple, un modèle de langage incapable de saisir le sens sous-jacent d’un texte peut générer un contenu grammaticalement correct mais dénué de sens sur le plan sémantique. Cela peut également se produire lorsque le modèle ne prend pas en compte le contexte plus large d’une conversation ou d’une tâche.

Exemples réels d’hallucinations de l’IA

Les hallucinations de l’IA, bien que souvent humoristiques ou inoffensives, peuvent avoir de graves conséquences dans les applications du monde réel lorsque les utilisateurs comptent sur l’exactitude des résultats ou ignorent que les informations sont incorrectes.

Des modèles de langage qui génèrent des informations inexactes

Les grands modèles de langage (LLM) sont généralement entraînés sur de vastes jeux de données issus de sources en ligne, qui peuvent contenir de fausses informations et des opinions. Dans un cas, Air Canada a dû verser des dommages et intérêts après que son chatbot IA eut induit un client en erreur au sujet des tarifs appliqués en cas de deuil. Air Canada soutenait que l’assistant virtuel du chatbot constituait une entité distincte, mais le tribunal n’a pas retenu cet argument et a accordé une indemnisation au passager.

Des systèmes de reconnaissance d’images qui classent mal les objets

Les systèmes de reconnaissance d’images peuvent mal classer les objets pour diverses raisons, notamment une mauvaise qualité d’image, des occultations lors du traitement des images ou des données d’entraînement limitées. Par exemple, une étude menée par David Gleich et des professeurs de Purdue University a révélé que leur base de données attribuait souvent de mauvaises étiquettes aux éléments en raison de problèmes liés à la génération de vecteurs intégrés. La base de données classait mal des radiographies et des séquences génétiques, et confondait même des voitures avec des lecteurs de cassettes.

Des algorithmes décisionnels qui produisent des résultats inattendus

Les algorithmes décisionnels peuvent produire des résultats inattendus en raison de biais sociétaux présents dans les données d’entraînement ou de défauts dans l’algorithme lui-même. Par exemple, l’outil expérimental de recrutement par IA d’Amazon discriminait les femmes en raison du biais historique lié au genre dans le secteur technologique. L’outil pénalisait les CV contenant le mot « femmes ». S’appuyer sur des algorithmes sans s’attaquer aux inégalités et aux biais sous-jacents risque simplement de perpétuer la discrimination à l’encontre des groupes marginalisés.

Des chatbots qui fournissent des réponses factuellement incorrectes

L’AI Governance Lab a récemment organisé un atelier pour tester cinq modèles, dont GPT-4 d’OpenAI, Llama 2 de Meta, Gemini de Google, Claude d’Anthropic et Mixtral de Mistral. Ces cinq chatbots d’IA de premier plan n’ont pas fourni d’informations exactes et fiables sur le processus démocratique. L’autre moitié de leurs réponses a été jugée inexacte ; 40 % ont été considérées comme nuisibles et susceptibles de priver les électeurs de leur droit de vote. Par exemple, lorsque les participants les ont interrogés sur le bureau de vote correspondant à un code postal donné, les chatbots IA ont répondu que ces bureaux de vote n’existaient pas.

Des véhicules autonomes qui interprètent mal les panneaux de signalisation

Les véhicules autonomes dépendent fortement de la reconnaissance d’images pour se déplacer en toute sécurité. Cependant, en raison de facteurs tels que les conditions météorologiques, les panneaux obstrués ou la diversité des modèles de signalisation, ces systèmes peuvent mal interpréter les panneaux de circulation. Des scientifiques de plusieurs universités américaines ont mené une étude dans laquelle ils ont modifié des panneaux stop par de subtiles altérations invisibles à l’œil humain. Les voitures autonomes ont complètement mal interprété ces indicateurs, soulevant des questions sur leur vulnérabilité à la manipulation et les risques potentiels pour la sécurité.

Impact des hallucinations de l’IA sur les entreprises

Les hallucinations de l’IA peuvent entraîner divers problèmes pour votre organisation, ses données et ses clients.

Prise de décision et diagnostics inexacts

Des systèmes d’IA peuvent énoncer avec assurance un fait inexact, poussant des professionnels de santé, des assureurs et d’autres spécialistes à prendre des décisions ou à poser des diagnostics erronés qui ont des conséquences négatives pour autrui ou pour leur réputation. Par exemple, à partir d’une requête concernant la glycémie d’un patient, un modèle d’IA peut diagnostiquer un diabète alors que les analyses sanguines n’indiquent pas la présence de ce problème de santé.

Résultats discriminatoires, offensants, nuisibles ou extravagants

Qu’il soit dû à des données d’entraînement biaisées ou à une logique totalement obscure, un modèle d’IA peut soudainement commencer à générer des résultats stéréotypés de manière nuisible, grossiers, voire menaçants. Bien que ces résultats extravagants soient généralement faciles à détecter, ils peuvent entraîner divers problèmes, notamment offenser l’utilisateur final.

Des données peu fiables pour l’analytique et d’autres décisions commerciales

Les modèles d’IA ne sont pas toujours parfaits avec les chiffres, mais au lieu d’indiquer qu’ils sont incapables de parvenir à la bonne réponse, certains modèles d’IA produisent des résultats numériques inexacts. Si les utilisateurs en entreprise ne se montrent pas prudents, ils peuvent s’appuyer sans le savoir sur des données analytiques commerciales erronées pour prendre des décisions importantes.

Préoccupations éthiques et juridiques

Les hallucinations de l’IA peuvent exposer des données privées ou d’autres informations sensibles susceptibles d’entraîner des problèmes de cybersécurité et des difficultés juridiques. En outre, des déclarations offensantes ou discriminatoires peuvent poser des dilemmes éthiques à l’organisation qui héberge la plateforme d’IA.

Désinformation liée à l’actualité mondiale et aux événements récents

Lorsque les utilisateurs se servent de plateformes d’IA pour vérifier en temps réel des informations d’actualité et des événements récents, le modèle d’IA peut produire avec assurance de la désinformation — en fonction de la formulation des invites et de l’actualité et de l’exhaustivité de son entraînement — que l’utilisateur risque de diffuser sans se rendre compte de ses inexactitudes.

Mauvaise expérience utilisateur

Si un modèle d’IA produit régulièrement un contenu offensant, incomplet, inexact ou autrement déroutant, les utilisateurs seront probablement frustrés et choisiront de cesser d’utiliser le modèle et/ou de passer à un concurrent. Cela peut éloigner le public cœur de cible d’une entreprise et limiter les possibilités de constituer une audience plus large.

Détecter les hallucinations de l’IA

Les systèmes d’IA sont des réseaux complexes qui englobent de nombreux domaines, notamment le traitement automatique du langage naturel, la vision par ordinateur et l’apprentissage profond. Les algorithmes nécessitent d’importantes ressources informatiques, telles que du temps et de la mémoire, pour produire un résultat donné, ce qui rend difficile l’identification de l’origine précise des hallucinations. Les systèmes d’IA impliquent plusieurs couches de traitement et leurs modèles évoluent constamment, ce qui complique la mise au point de méthodes statiques capables de suivre la nature dynamique de l’IA.

Le manque de transparence pose également problème, car de nombreux modèles d’IA fonctionnent comme des boîtes noires. L’absence de visibilité sur le processus décisionnel du modèle d’IA rend plus difficile la création de stratégies efficaces de détection précoce et de prévention, mais savoir quoi rechercher peut vous aider à repérer les hallucinations de l’IA.

Signaux d’alerte précoces

Reconnaître les signes avant-coureurs des hallucinations de l’IA est essentiel pour en atténuer l’impact. Le risque d’hallucination est plus élevé lorsqu’un modèle d’IA génère des informations ou des réponses contradictoires à des invites similaires. Une confiance excessive dans des réponses incorrectes constitue un autre indicateur potentiel, car les modèles sont conçus pour exprimer leur incertitude lorsqu’ils ne sont pas sûrs de la réponse. En outre, une modification radicale du résultat, même si l’invite d’entrée ne change que légèrement, peut être un signe d’hallucination.

Techniques de surveillance continue

Les entreprises d’IA et les organisations devraient mettre en place des systèmes de surveillance complets pour détecter et traiter les hallucinations de l’IA. Il est par exemple possible de créer des indicateurs de performance du modèle, tels que l’exactitude, la précision, le rappel et le score F1, afin d’identifier les tendances et les anomalies. La détection de la dérive des données constitue une autre stratégie de surveillance efficace : elle examine les changements dans la répartition des données d’entraînement et des données réelles pour éviter les écarts. Les organisations peuvent également recourir aux tests adversariaux, une pratique de sécurité proactive qui consiste à introduire des entrées difficiles et trompeuses afin de déterminer ce qui déclenche les hallucinations.

Systèmes avec intervention humaine

Une approche collaborative appelée apprentissage automatique avec intervention humaine (human-in-the-loop, HITL) constitue un autre moyen de détecter les hallucinations de l’IA. Cette technique intègre les contributions et l’expertise humaines au cycle de vie des systèmes de ML et d’IA. Les principaux composants du HITL comprennent la validation des données, l’évaluation du modèle et les boucles de rétroaction. Élaborer des lignes directrices éthiques est également important dans le développement de l’IA afin d’éviter de concevoir des modèles générant des hallucinations nuisibles.

7 stratégies pour lutter contre les hallucinations de l’IA

Les techniques suivantes s’adressent aux développeurs et fournisseurs de modèles d’IA, ainsi qu’aux organisations qui déploient l’IA dans le cadre de leurs activités, sans nécessairement développer leurs propres modèles. Ces stratégies peuvent aider les responsables technologiques et les organisations à prévenir, détecter et atténuer les hallucinations dans les modèles d’IA qu’ils développent et gèrent.

Nettoyer et préparer les données d’entraînement pour obtenir de meilleurs résultats

Nettoyer et préparer correctement vos données d’entraînement pour le développement et l’affinage d’un modèle d’IA est l’une des meilleures mesures que vous puissiez prendre pour éviter les hallucinations de l’IA. Un processus approfondi de préparation des données améliore la qualité des données utilisées et vous donne le temps et l’espace nécessaires aux tests pour repérer et éliminer les problèmes du jeu de données, notamment certains biais susceptibles d’alimenter les hallucinations.

Le prétraitement des données, la normalisation, la détection des anomalies et les autres opérations importantes de préparation des données doivent être effectués dès le départ, puis d’une manière ou d’une autre chaque fois que vous mettez à jour les données d’entraînement ou réentraînez votre modèle. Dans le cas d’un réentraînement, reprendre la préparation des données garantit notamment que le modèle n’a pas appris ou conservé un comportement susceptible de se répercuter dans les données d’entraînement et d’entraîner des problèmes plus graves à l’avenir.

Concevoir des modèles interprétables et explicables

Les modèles d’IA de grande taille vers lesquels se tournent de nombreuses entreprises offrent des capacités considérables, mais peuvent aussi devenir si denses en informations et en données d’entraînement que même leurs développeurs peinent à interpréter et à expliquer leur fonctionnement. Les problèmes d’interprétabilité et d’explicabilité deviennent particulièrement visibles lorsque les modèles commencent à produire des informations hallucinatoires ou inexactes. Dans ce cas, les développeurs du modèle ne savent pas toujours ce qui cause le problème ni comment le résoudre, ce qui peut engendrer de la frustration au sein de l’entreprise et chez les utilisateurs finaux.

Les étapes suivantes peuvent contribuer à dissiper une partie de ces doutes et de cette confusion dès le départ :

• Concevoir des modèles d’IA interprétables et explicables : Intégrez à la conception de votre architecture des fonctionnalités axées sur ces deux priorités. 
• Tenir des registres détaillés : Lors de la création de vos propres modèles, documentez vos processus, faites preuve de transparence avec les principales parties prenantes et choisissez un format d’architecture facile à interpréter et à expliquer, quelle que soit l’évolution des données et des attentes des utilisateurs.
• Utiliser des modèles en ensemble : Ce type d’architecture convient bien à l’interprétabilité, à l’explicabilité et à la précision globale ; cette approche de l’IA/ML extrait les résultats prévus de plusieurs modèles et les agrège afin de produire des résultats plus précis, plus complets et plus transparents.

Tester les modèles et les données d’entraînement pour détecter les problèmes de performance

Avant de déployer un modèle d’IA — et même après — votre équipe devrait consacrer beaucoup de temps à tester le modèle ainsi que les données d’entraînement et les algorithmes afin de repérer les problèmes de performance susceptibles de survenir dans des scénarios réels. Les tests complets doivent couvrir non seulement les requêtes et formats d’entrée courants, mais aussi les cas limites et les requêtes complexes.

Tester la manière dont votre IA réagit à un large éventail d’entrées possibles permet de prévoir ses performances pour différents cas d’utilisation. Cela donne également à votre équipe l’occasion d’améliorer les données et l’architecture du modèle avant que les utilisateurs finaux ne soient frustrés par des résultats inexacts ou hallucinatoires.

Si le modèle d’IA avec lequel vous travaillez peut accepter des données dans différents formats, veillez à le tester avec des entrées alphanumériques ainsi qu’audio ou visuelles. Envisagez également de réaliser des tests adversariaux pour tenter délibérément d’induire le modèle en erreur et déterminer s’il tombe dans le piège. Nombre de ces tests peuvent être automatisés avec les outils appropriés.

Intégrer une gestion humaine de l’assurance qualité

Plusieurs outils de qualité des données, de gestion de l’IA et de surveillance des modèles peuvent aider votre organisation à maintenir des modèles d’IA de haute qualité, capables de fournir les meilleurs résultats possibles. Cependant, ces outils ne sont pas toujours les plus efficaces pour détecter les hallucinations de l’IA plus obscures ou subtiles. Il est judicieux d’inclure une équipe humaine capable de contribuer à la gestion de l’assurance qualité de l’IA.

Un processus de revue avec intervention humaine peut aider à repérer des anomalies qui échappent aux machines et fournir aux développeurs d’IA des recommandations concrètes sur les améliorations à apporter. Les personnes chargées de ce travail doivent disposer d’un équilibre solide entre compétences et expérience en IA/technologie, expérience du service client et, éventuellement, expérience en matière de conformité. Ce profil polyvalent leur donnera les connaissances nécessaires pour identifier les problèmes et obtenir de meilleurs résultats pour les utilisateurs finaux.

Recueillir régulièrement les retours des utilisateurs

En particulier une fois qu’un modèle d’IA est déjà en service, les utilisateurs eux-mêmes constituent votre meilleure source d’information sur les hallucinations de l’IA et autres anomalies de performance. Si des canaux de retour appropriés sont mis en place, les utilisateurs peuvent informer les développeurs du modèle et les fournisseurs d’IA des situations réelles dans lesquelles les résultats du modèle se sont révélés incorrects.

Grâce à ces connaissances précises, les développeurs peuvent identifier les résultats isolés comme les erreurs récurrentes et, à partir de là, utiliser ces informations pour améliorer les données d’entraînement du modèle et ses réponses à des requêtes similaires dans les prochaines versions de la plateforme.

S’associer à des fournisseurs éthiques et transparents

Que vous soyez développeur d’IA ou entreprise utilisant une technologie d’IA, il est important de vous associer à d’autres fournisseurs d’IA éthiques qui mettent l’accent sur des pratiques transparentes et conformes en matière de collecte des données, d’entraînement des modèles, de conception des modèles et de déploiement des modèles.

Vous saurez ainsi comment les modèles que vous utilisez sont entraînés et quelles mesures de protection sont en place pour protéger les données des utilisateurs et prévenir les résultats hallucinatoires. Dans l’idéal, vous voudrez travailler avec des fournisseurs capables d’expliquer clairement les efforts qu’ils déploient pour obtenir des résultats éthiques et proposer des produits conciliant précision et évolutivité.

Surveiller et mettre à jour vos modèles au fil du temps

Les modèles d’IA fonctionnent au mieux lorsqu’ils sont constamment mis à jour et améliorés. Ces améliorations doivent s’appuyer sur les retours des utilisateurs, les recherches de votre équipe, les tendances de l’ensemble du secteur, ainsi que sur les données de performance recueillies par vos outils de gestion de la qualité et de surveillance.

Surveiller régulièrement les performances des modèles d’IA sous tous ces angles et s’engager à les améliorer sur la base de ces analyses peut vous aider à éviter à l’avenir les scénarios d’hallucination déjà rencontrés et d’autres problèmes de performance.

Watson OpenScale d’IBM est une plateforme ouverte qui aide les utilisateurs à gouverner l’IA et à gérer l’équité, la dérive et d’autres problèmes de qualité. Source : IBM.

En résumé : prévenir les hallucinations de l’IA lors de l’utilisation de modèles d’IA à grande échelle

Les principaux innovateurs de l’IA reconnaissent que les hallucinations de l’IA créent de véritables problèmes et prennent des mesures importantes pour lutter contre les hallucinations et la désinformation, mais les modèles d’IA continuent à produire occasionnellement du contenu hallucinatoire. Que vous soyez développeur d’IA ou utilisateur en entreprise, il est important de reconnaître que ces hallucinations se produisent.

Prenez des mesures pour mieux identifier les hallucinations et corriger leurs conséquences négatives. Cela nécessite la bonne combinaison d’une formation et de tests complets, d’outils de surveillance et de gestion de la qualité, d’équipes internes bien formées et d’un processus privilégiant les boucles de rétroaction et l’amélioration continues. Grâce à cette stratégie, votre équipe pourra mieux traiter et atténuer les hallucinations de l’IA avant qu’elles n’entraînent des problèmes de cybersécurité, de conformité et de réputation pour l’organisation.

Pour plus d’informations sur la gouvernance de votre déploiement d’IA, consultez notre guide : AI Policy and Governance: What You Need to Know