Si vous demandiez à un chatbot d’IA si vos symptômes relevaient d’une urgence, saurait-il vous répondre correctement ? Une nouvelle étude révèle que ChatGPT Health d’OpenAI, un chatbot grand public conçu pour répondre aux questions médicales, a mal évalué plus de la moitié des urgences médicales graves.
Publiée dans Nature Medicine, l’étude montre que le système n’a pas reconnu 51,6 % des cas urgents, conseillant souvent aux patients de consulter dans les 24 à 48 heures plutôt que de se rendre aux urgences.
Soumettre un chatbot de santé à des tests intensifs
Pour tester ChatGPT Health, les chercheurs ont créé 60 scénarios médicaux rédigés par des cliniciens, couvrant 21 domaines de la médecine, des plaintes courantes aux affections potentiellement mortelles.
Chaque scénario a été soumis selon 16 variantes, faisant varier des éléments tels que les caractéristiques démographiques du patient et le contexte, ce qui a produit 960 réponses du chatbot. Les recommandations de l’outil d’IA ont ensuite été comparées aux évaluations de médecins fondées sur les recommandations cliniques.
Dans ce contexte, le triage consiste à déterminer avec quel degré d’urgence une personne doit consulter, qu’il s’agisse de gérer ses symptômes à domicile, de prendre rendez-vous chez un médecin ou de recevoir immédiatement des soins d’urgence.
Quand des symptômes urgents ne déclenchaient pas l’alerte
L’étude a révélé que certaines affections potentiellement mortelles étaient à tort considérées comme moins urgentes.
Parmi les cas figuraient l’acidocétose diabétique, une complication dangereuse du diabète, et une insuffisance respiratoire imminente, deux situations nécessitant une prise en charge médicale immédiate. Selon les chercheurs, de tels retards pourraient avoir de graves conséquences si les patients se fiaient à ces conseils sans consulter en urgence.
Le système s’en sortait mieux lorsque les symptômes étaient plus évidents. Les urgences classiques, comme les accidents vasculaires cérébraux et les réactions allergiques sévères (anaphylaxies), étaient systématiquement reconnues comme nécessitant un traitement immédiat.
Un schéma plus large d’incohérences dans le triage
Outre les urgences manquées, les chercheurs ont relevé d’autres signes de performances inégales dans les scénarios testés. Dans certains cas non urgents, le chatbot recommandait des soins médicaux alors que ce n’était pas nécessaire, suggérant de consulter un médecin pour des symptômes qui pouvaient généralement être traités à domicile.
L’étude a également montré que le contexte pouvait influencer les recommandations du chatbot. Lorsque des membres de la famille ou des amis minimisaient les symptômes d’un patient dans un scénario — un effet que les chercheurs ont décrit comme un biais d’ancrage — l’outil était bien plus susceptible de suggérer des soins moins urgents dans les cas limites.
Les réponses concernant le risque suicidaire étaient elles aussi incohérentes. Des messages de soutien en situation de crise se déclenchaient parfois lorsque les utilisateurs évoquaient des pensées suicidaires sans mentionner de méthode précise, mais ne s’activaient pas lorsque des projets plus concrets étaient décrits.
OpenAI réagit aux résultats
OpenAI a déclaré que l’étude ne reflétait pas pleinement la manière dont ChatGPT Health est conçu pour fonctionner en pratique. Un porte-parole de l’entreprise a déclaré à CNBC que l’outil est destiné à des échanges suivis, au cours desquels les utilisateurs peuvent poser des questions complémentaires et fournir davantage de contexte, plutôt que de s’appuyer sur une seule demande et une seule réponse.
L’entreprise a ajouté que l’outil d’IA reste disponible de manière limitée, tandis qu’elle continue d’améliorer sa sécurité et sa fiabilité avant un déploiement plus large.
Les experts appellent à la prudence face aux conseils médicaux de l’IA
Le Dr Ashwin Ramaswamy, premier auteur de l’étude, a appelé à la prudence : les outils comme ChatGPT Health ne devraient pas encore guider les décisions médicales sans avoir fait l’objet de tests supplémentaires. Il a déclaré que les chatbots ne peuvent actuellement pas être considérés seuls comme des sources fiables de conseils médicaux.
Les experts ont également souligné la nécessité d’une évaluation rigoureuse avant un déploiement à grande échelle de tels systèmes. Le Dr John Mafi, professeur associé de médecine à UCLA Health, a déclaré que les technologies capables d’influencer les décisions de santé devraient faire l’objet d’essais contrôlés afin de garantir que leurs bénéfices l’emportent sur leurs risques potentiels.
Le Dr Ethan Goh, directeur exécutif du réseau de recherche en IA ARISE, a ajouté que, si les chatbots peuvent être utiles, ils ne devraient pas être considérés comme des substituts au jugement d’un médecin.
MyFitnessPal a racheté Cal AI, une application de nutrition créée par un adolescent qui a généré 30 millions de dollars de revenus annuels en moins de deux ans.