Lorsqu’un résultat de recherche commence à ressembler à un diagnostic, les enjeux changent rapidement.
Les AI Overviews de Google sont dans le collimateur après que des experts ont averti que l’outil affichait des informations de santé trompeuses susceptibles de mettre les patients en danger.
Selon une enquête du Guardian, les résumés générés par IA affichés en haut des résultats de Google Search ont fourni des conseils médicaux inexacts et potentiellement dangereux sur divers sujets de santé, ravivant les inquiétudes quant à la fiabilité des réponses de santé générées par IA lorsque les utilisateurs sont particulièrement vulnérables.
Utiles au premier abord, dangereuses dans le détail
Les AI Overviews de Google sont placées au-dessus des résultats de recherche traditionnels et présentent des résumés concis qui peuvent ressembler à des conseils médicaux plutôt qu’à de simples informations générales. Les experts de santé avertissent que lorsque ces résumés sont erronés, leur position très visible peut en amplifier les conséquences.
Un exemple cité par des associations de santé montrait Google conseillant aux personnes atteintes d’un cancer du pancréas d’éviter les aliments riches en graisses. Anna Jewell, directrice du soutien, de la recherche et de la sensibilisation chez Pancreatic Cancer UK, a déclaré que ce conseil était incorrect et pouvait laisser les patients trop affaiblis pour supporter une chimiothérapie ou une intervention chirurgicale.
« Si quelqu’un suivait ce que lui dit le résultat de recherche, il pourrait ne pas absorber suffisamment de calories, avoir du mal à prendre du poids et être incapable de supporter un traitement potentiellement salvateur », a déclaré Jewell.
D’autres résumés simplifiaient à l’excès les informations diagnostiques. Les recherches sur les analyses sanguines du foie renvoyaient des valeurs « normales » sans tenir compte de facteurs comme l’âge ou le sexe. Pamela Healy, directrice générale du British Liver Trust, a averti que cela pouvait faussement rassurer des personnes atteintes d’une maladie grave du foie et retarder leur prise en charge.
Les recherches sur la santé des femmes suscitaient des inquiétudes similaires. Une requête sur le cancer du vagin citait à tort le frottis comme outil de diagnostic. Athena Lamnisos, directrice générale de The Eve Appeal, a déclaré que cette erreur pouvait amener des personnes à écarter leurs symptômes après un résultat normal au dépistage du cancer du col de l’utérus, retardant ainsi le diagnostic d’un cancer rare mais grave.
Comment les résumés générés par IA peuvent modifier le comportement des patients
Pour les associations de santé, la principale inquiétude tient à la manière dont les gens réagissent après avoir vu ces résumés. Des réponses claires et assurées peuvent réduire la distance entre une recherche et une décision de santé, en particulier lorsque les utilisateurs sont anxieux, malades ou agissent au nom de quelqu’un d’autre.
Stephanie Parker, directrice du numérique de l’association de soins palliatifs Marie Curie, souligne le contexte émotionnel qui sous-tend de nombreuses recherches de santé. « Les gens se tournent vers Internet dans des moments d’inquiétude et de crise », a-t-elle déclaré, en avertissant que des informations inexactes ou dépourvues de nuances peuvent « gravement nuire à leur santé ».
Pour les organisations qui se consacrent aux normes applicables aux informations destinées aux patients, la confiance est la question centrale. Sophie Randall, directrice du Patient Information Forum, a déclaré que la mise en avant des résumés générés par IA augmentait le risque qu’ils soient considérés comme définitifs plutôt que provisoires.
« Les exemples montrent que les AI Overviews de Google peuvent placer des informations de santé inexactes en tête des recherches en ligne », a observé Randall, ajoutant que cette mise en avant augmente le risque que les gens agissent en fonction de ce qu’ils voient au lieu de consulter des médecins ou d’assurer leur suivi médical.
« Des conseils très dangereux »
Le Guardian a constaté que les AI Overviews fournissaient des résumés de troubles comme la psychose et les troubles alimentaires qui, selon les experts, omettaient des éléments essentiels de contexte.
Stephen Buckley, responsable de l’information au sein de l’association de santé mentale Mind, a déclaré que certains résumés générés par IA donnaient des « conseils très dangereux » ou étaient « inexacts, nuisibles ou susceptibles d’amener les gens à éviter de demander de l’aide ». Dans d’autres cas, les réponses supprimaient des nuances essentielles lorsqu’il est question de troubles graves de la santé mentale.
Buckley a également déclaré que certains résumés orientaient les utilisateurs vers des sources inadaptées ou présentaient les informations d’une manière susceptible de renforcer les biais ou les récits stigmatisants. Dans les recherches liées à la santé mentale, a-t-il prévenu, même de petites omissions peuvent influencer la décision d’une personne de consulter un professionnel ou de renoncer totalement à demander de l’aide.
Google conteste l’ampleur du problème
Selon Google, l’immense majorité des AI Overviews fournissent des informations exactes et utiles. Un porte-parole de Google a déclaré que bon nombre des exemples mis en avant reposaient sur des captures d’écran incomplètes et que, lorsque l’entreprise pouvait les évaluer, les résumés renvoyaient vers des « sources connues et réputées » et encourageaient les utilisateurs à demander l’avis d’un expert.
Le géant technologique a également déclaré que la précision des AI Overviews était comparable à celle de fonctionnalités de recherche établies de longue date, comme les extraits optimisés, et affirmé qu’il investissait massivement dans les contrôles qualité, notamment pour les sujets liés à la santé. Lorsque les résumés interprètent mal un contenu ou passent à côté de son contexte, Google a indiqué qu’il intervenait en vertu de ses politiques existantes.
La recherche en ligne est depuis longtemps une porte d’entrée vers l’information médicale, mais les résumés générés par IA changent la profondeur des recherches que les utilisateurs effectuent pour trouver des réponses. Les experts de santé avertissent que le nombre réduit de clics et les conclusions plus rapides pourraient avoir un coût lorsque les nuances sont essentielles.
Alors que les entreprises technologiques repensent la manière dont les gens interagissent avec l’IA, OpenAI prépare un appareil contrôlé avant tout par la voix qui pourrait faire sortir l’IA des écrans pour l’intégrer à l’écoute quotidienne.