ChatGPT d’OpenAI a surpassé les médecins dans le diagnostic des affections médicales de patients lors d’un petit essai clinique randomisé. Menée du 29 novembre au 29 décembre 2023 dans trois centres médicaux universitaires américains, l’étude a vu ses résultats publiés en novembre 2024 dans la revue à comité de lecture JAMA Network Open.
L’étude de référence visait à déterminer si l’intelligence artificielle fondée sur un grand modèle de langage (LLM) pouvait améliorer les performances de raisonnement diagnostique des professionnels de santé par rapport aux ressources conventionnelles.
Cinquante médecins ont été recrutés pour participer à l’essai clinique : 26 médecins titulaires et 24 médecins résidents, tous formés aux États-Unis et spécialisés en médecine familiale, en médecine interne et en médecine d’urgence. Les médecins ont été répartis en deux groupes de 25 personnes. Chaque groupe disposait de 60 minutes pour examiner jusqu’à 6 vignettes cliniques ou comptes rendus de cas médicaux. Un groupe avait accès à des agents conversationnels d’IA générative, tandis que l’autre avait accès aux ressources conventionnelles en ligne.
Bien que les résultats aient révélé que l’IA n’offrait aucune différence significative entre les médecins utilisant des agents conversationnels et ceux disposant de ressources conventionnelles, ce qui a « choqué » le Dr Adam Rodman du Beth Israel Deaconess Medical Center de Boston, c’est que ChatGPT a obtenu une moyenne de 90 % pour ses diagnostics médicaux. Les médecins ayant accès à ChatGPT ont obtenu 76 %, soit deux points de pourcentage de plus que le groupe utilisant les ressources conventionnelles, qui a obtenu 74 %.
Au début, les participants n’étaient pas convaincus par le raisonnement diagnostique des agents conversationnels d’IA. « Ils n’écoutaient pas l’IA quand elle leur disait des choses avec lesquelles ils n’étaient pas d’accord », a déclaré le Dr Rodman au New York Times. Il l’a découvert en examinant plus attentivement les données, notamment les journaux de messages de ChatGPT et des médecins.
Cette étude montre que la poursuite de recherches de ce type permettrait au secteur médical de tirer parti du potentiel de l’IA pour améliorer le diagnostic clinique. Les erreurs de diagnostic médical surviennent et peuvent nuire aux patients. Toutefois, l’IA médicale peut être un outil efficace pour aider les médecins, car elle est capable de produire des réponses semblables à celles d’un humain, de résoudre des problèmes complexes et de raisonner sur le plan clinique. Elle fournit un examen détaillé des antécédents médicaux d’un patient. À ce stade, cependant, comme le suggère l’étude, il est préférable d’exiger une participation humaine plutôt que de laisser les ordinateurs remplacer les médecins.
Découvrez comment ChatGPT se compare à l’agent conversationnel populaire Perplexity dans notre comparatif en face-à-face.