Une nouvelle étude publiée dans The Lancet, l’une des revues médicales les plus prestigieuses au monde, vient de révéler une nouvelle pour le moins dérangeante : des médecins expérimentés qui utilisaient l’IA pour repérer le cancer du côlon se sont en réalité montrés moins performants pour le détecter lorsque l’IA n’était plus là. Au moment même où cette preuve de la faillibilité humaine émergeait, un autre article retentissant était publié, affirmant que le modèle de nouvelle génération d’OpenAI, GPT-5, avait atteint des performances « surhumaines » dans des tâches complexes de raisonnement médical, écrasant les scores de professionnels formés.
Alors, qu’en est-il ? L’IA est-elle un outil indispensable qui élève la médecine vers de nouveaux sommets, ou une béquille qui rendra toute une génération de cliniciens dangereusement dépendants et moins compétents ? La réponse, comme on le découvre, est complexe.
Enfin, une troisième étude cruciale suggère que la façon dont nous mesurons les capacités « surhumaines » de l’IA est fondamentalement défectueuse, créant une illusion de progrès qui masque de profonds risques. Ensemble, ces résultats dressent un tableau précaire : sommes-nous en train de faire perdre leurs compétences à nos médecins au profit d’une IA dont nous ne comprenons pas pleinement les véritables capacités, parce que nous les mesurons toutes de travers ? Plongeons dans le sujet.
Voici les détails
Des chercheurs polonais ont suivi 19 médecins expérimentés qui avaient chacun réalisé plus de 2 000 coloscopies dans quatre centres médicaux. Voici ce qui s’est passé.
- Avant l’IA : Les médecins détectaient des lésions précancéreuses dans 28,4 % des interventions.
- Après l’IA : Lorsqu’ils travaillaient seuls, ils n’en détectaient plus que 22,4 % (une baisse de 6 points).
- Avec l’IA : Le taux de détection était de 25,3 %.
L’étude s’est déroulée de septembre 2021 à mars 2022 et a porté sur 1 443 interventions sans assistance de l’IA.
On peut, dans un sens, considérer qu’il s’agit de la première étude en conditions réelles à documenter le « désapprentissage » lié à l’IA médicale. Les chercheurs parlent de « biais d’automatisation » : les médecins étaient moins motivés et moins concentrés lorsqu’ils travaillaient sans leur acolyte numérique. Comme nous l’avons déjà écrit, on peut comparer cela au fait d’utiliser un GPS si longtemps qu’on ne sait plus se déplacer dans sa propre ville.
Pour être juste, certains experts pensent que la fatigue a joué un rôle également, puisque le nombre total d’interventions a augmenté. Mais le schéma est clair : retirez les roulettes et les performances chutent.
Pourquoi c’est important
Même une baisse de 1 % du taux de détection du cancer compte. Cette étude a montré un recul de 6 %… ce qui pourrait représenter des milliers de cas manqués si le phénomène se généralisait à l’ensemble des systèmes de santé.
L’IA devient de plus en plus effroyablement performante en médecine
Un nouvel article vient de montrer que GPT-5 surpasse désormais les experts médicaux humains en matière de diagnostic de 15 à 29 % dans des cas complexes impliquant des images médicales. Il s’agit précisément du même type de reconnaissance visuelle de formes avec lequel les médecins polonais ont eu des difficultés.
Voici ce qui s’est passé
Des chercheurs de l’Emory University School of Medicine ont mis en lumière son potentiel éblouissant. Intitulé « Capabilities of GPT-5 on Multimodal Medical Reasoning », ce prépublication apportait des éléments montrant que le dernier modèle d’OpenAI n’était pas simplement aussi bon qu’un médecin : il était nettement meilleur.
Les chercheurs ont comparé GPT-5 à ses prédécesseurs et à des experts humains au moyen d’une série d’examens médicaux particulièrement difficiles, dont l’USMLE (United States Medical Licensing Examination) et le très complexe MedXpertQA. Point crucial, ils ont testé ses capacités multimodales — sa faculté à raisonner non seulement à partir de texte, mais aussi à partir d’une combinaison de textes et d’images, comme un médecin examinant le dossier d’un patient parallèlement à un scanner.
Les résultats étaient tout simplement époustouflants.
- Des tests standardisés écrasés : GPT-5 a obtenu 95,8 % à une version de l’examen MedQA et une moyenne de 95,2 % aux questions d’exemple de l’USMLE, dépassant largement le seuil de réussite humain habituel.
- Un bond en matière de raisonnement multimodal : Les progrès les plus spectaculaires ont été observés dans les tâches nécessitant de synthétiser du texte et des images. Sur l’évaluation multimodale MedXpertQA, GPT-5 a amélioré les performances de GPT-4o de 29 % en raisonnement et de 26 % en compréhension — des progressions stupéfiantes.
- Un niveau supérieur à celui des experts humains : La conclusion la plus provocatrice de l’article était une comparaison directe avec des « experts humains non encore diplômés ». Alors que GPT-4o s’était effectivement montré moins performant que les humains sur la plupart des critères, GPT-5 les a largement dépassés. Il était 24,2 % meilleur en raisonnement multimodal et 29,4 % meilleur en compréhension multimodale que ses homologues humains.
Une étude de cas incluse dans l’article a démontré cette puissance en action. Face à un cas complexe comprenant les antécédents du patient, des résultats d’analyses et un scanner abdominal, GPT-5 a correctement diagnostiqué une perforation de l’œsophage potentiellement mortelle (syndrome de Boerhaave), expliqué son raisonnement, écarté les autres possibilités et recommandé l’étape suivante précise et correcte (une étude de déglutition au Gastrografin). Il s’est comporté comme un diagnosticien de renommée mondiale.
Les auteurs ont conclu que GPT-5 représentait un « changement qualitatif », passant des performances comparables à celles d’un humain de GPT-4 à une « maîtrise clairement surhumaine » dans ces évaluations. Cette conclusion offre un puissant contre-récit au problème du désapprentissage. Si l’IA devient réellement surhumaine, la perte de compétences des humains importe peut-être peu. Pourquoi insister pour qu’un médecin humain s’oriente de mémoire quand une IA autonome peut vous conduire à destination de manière plus sûre et plus efficace à chaque fois ?
Voici donc le plus surprenant : l’IA devient meilleure que les médecins au moment même où les médecins deviennent moins performants sans l’IA. Ce n’est… pas une combinaison viable.
Le retournement : mesurons-nous un mirage ?
C’est ici que l’histoire prend un tournant crucial. Les performances « surhumaines » de GPT-5 sont-elles réelles, ou sont-elles un artefact du test ? Un troisième article majeur, intitulé « Beyond the Leaderboard: Rethinking Medical Benchmarks for Large Language Models », suggère que c’est peut-être la seconde hypothèse qui est la bonne.
Une équipe de chercheurs a présenté « MedCheck », un cadre rigoureux destiné à évaluer les évaluations médicales elles-mêmes. Ils l’ont appliqué à 53 évaluations existantes — précisément le type d’évaluations utilisées pour tester des modèles comme GPT-5 — et ont mis au jour des failles systémiques touchant l’ensemble du domaine. Leurs conclusions constituaient un réquisitoire accablant contre le paysage actuel de l’évaluation.
- La déconnexion clinique : Les chercheurs ont constaté que la plupart des évaluations présentaient une « profonde déconnexion avec la pratique clinique ». Elles s’appuient souvent sur des questions d’examen à choix multiples, qui testent la restitution de faits mais ne mesurent pas le raisonnement nuancé et ouvert requis dans une véritable clinique. Pas moins de 53 % des évaluations ne correspondaient à aucune norme médicale officielle, comme les codes CIM utilisés dans le monde entier pour classifier les maladies, et 47 % ignoraient complètement la sécurité et l’équité dans leur conception.
- Une crise de l’intégrité des données : La qualité des données, socle de toute évaluation, s’est révélée désastreuse. Pas moins de 92 % des évaluations ne prenaient pas correctement en compte le risque de « contamination des données » — la possibilité que le modèle ait déjà vu les questions du test dans l’immense volume de données ayant servi à son entraînement, ce qui aboutit à de la mémorisation plutôt qu’à un véritable raisonnement. Cela gonfle les scores et crée un faux sentiment de progrès.
- Une négligence systématique de la sécurité : Peut-être plus inquiétant encore, les évaluations ne testaient pas les éléments les plus importants pour la sécurité des patients. Un incroyable 94 % d’entre elles ne permettaient pas de tester la robustesse du modèle (c’est-à-dire son comportement face à des données légèrement imparfaites ou « bruitées » du monde réel), et 96 % ne mesuraient pas la capacité d’un modèle à exprimer son incertitude — à dire « je ne sais pas », une compétence essentielle pour tout praticien médical fiable.
L’article consacré à MedCheck affirme que le domaine souffre d’une « illusion de progrès » : les modèles deviennent de plus en plus performants pour réussir des tests universitaires biaisés qui ne reflètent pas la réalité désordonnée de la médecine. Cela recontextualise fondamentalement les résultats « surhumains » de l’article sur GPT-5. GPT-5 est probablement surhumain à un test, mais le test lui-même mesure peut-être mal les compétences cliniques en conditions réelles.
Le paradoxe revisité
Pris ensemble, ces trois travaux dressent un récit profondément inquiétant. Nous disposons de preuves empiriques que le recours à l’IA fait déjà perdre leurs compétences à nos médecins experts (l’étude de The Lancet). Dans le même temps, on nous dit de faire confiance à l’IA parce qu’elle devient surhumaine (l’article sur GPT-5). Mais nous découvrons maintenant que la définition même de « surhumain » repose sur des évaluations biaisées, déconnectées de la clinique et potentiellement contaminées, qui ne testent même pas la sécurité ou la robustesse (l’article sur MedCheck).
Voilà le paradoxe de l’IA médicale. Nous affaiblissons nos experts humains au profit d’une technologie dont nous mesurons la maturité en conditions réelles avec des instruments défectueux. Nous risquons d’échanger les compétences éprouvées, quoique imparfaites, d’un médecin humain contre l’éclat théorique d’une IA qui est peut-être une formidable candidate aux examens, mais une partenaire clinique fragile et peu fiable.
Alors, quelle voie suivre ? La solution n’est pas d’abandonner l’IA, mais de repenser radicalement la manière dont nous l’intégrons et l’évaluons.
Le tableau d’ensemble ? Au-delà des coloscopies et de GPT-5, les outils d’IA se répandent en radiologie, en dermatologie et en anatomopathologie. Si un désapprentissage similaire se produit ailleurs, nous pourrions avoir un système de santé meilleur avec l’IA, mais dangereusement moins performant sans elle.
1. Nous devons tenir compte de l’avertissement de l’étude sur le désapprentissage.
Alors, que se passe-t-il dans ce scénario ? Pour commencer, davantage de dépistages par IA. Si l’on pousse ce raisonnement jusqu’au bout, les médecins devenant moins fiables et les outils de dépistage par IA plus fiables, les médecins finiront par cesser d’effectuer les dépistages. Après tout, à quoi bon un second avis faisant office de simple tampon et disant « ça m’a l’air bon » si les médecins perdent leur capacité à identifier ces problèmes ?
À l’inverse, les hôpitaux avisés pourraient avoir besoin de nouvelles garde-fous :
- Journées de formation « IA désactivée » pour maintenir les compétences humaines à niveau.
- Suivi des compétences qui mesure les performances en solo, et pas seulement les résultats obtenus avec l’aide de l’IA.
- Exercices de simulation de panne pour s’assurer que les équipes peuvent encore atteindre les objectifs de qualité en cas de défaillance technologique.
2. Nous devons résoudre le problème de la mesure.
L’article sur MedCheck est un appel à l’action lancé à toute la communauté de recherche en IA. Nous devons dépasser les classements statiques fondés sur des questions à choix multiples et construire des évaluations dynamiques et interactives qui simulent les flux de travail cliniques réels, donnent la priorité à la sécurité et à la robustesse et reposent sur des données propres et représentatives.
3. Nous devons redéfinir le rôle du médecin humain à l’ère de l’IA.
Si l’IA nous rend meilleurs, tant mieux, mais nous ne pouvons pas la laisser nous rendre impuissants. Nous devons donc soit l’utiliser correctement pour maintenir nos compétences à niveau, soit céder du terrain aux machines et consacrer notre temps humain à d’autres tâches.
Les médecins humains qui auraient posé les diagnostics pourraient peut-être consacrer le temps gagné à parler aux patients des mesures de prévention et à élaborer des plans de réduction des risques, ou encore à discuter des signes avant-coureurs.
Ou peut-être le rôle du médecin évoluera-t-il encore davantage. Cette hypothèse semble plus proche de la science-fiction, mais l’aboutissement ne sera peut-être pas une machine qui remplace le diagnosticien : le médecin deviendra plutôt un « opérateur d’IA » sophistiqué, capable de formuler des requêtes, d’interpréter les résultats et de passer outre les suggestions de l’IA. Il deviendra un gestionnaire de l’incertitude, naviguant dans les zones grises où les données sont désordonnées et l’IA hésitante. Et, en cédant les tâches routinières à l’automatisation, il pourra réinvestir son temps dans les aspects résolument humains de la médecine : la communication avec les patients, l’empathie et l’accent mis sur la prévention — un domaine dans lequel le système de santé américain, malgré ses dépenses annuelles de 4,9 milliards de dollars US, n’investit que 3 %.
Le potentiel de l’IA en médecine reste immense, mais nous sommes à un moment charnière et périlleux. Avant d’adopter pleinement un partenaire « surhumain », nous devons d’abord nous assurer qu’il ne nous affaiblit pas, et nous devons être absolument certains de mesurer sa puissance avec une règle qui reflète la réalité.
Note de la rédaction : ce contenu a été publié à l’origine dans notre publication sœur, The Neuron. Pour découvrir d’autres articles de The Neuron, inscrivez-vous ici à sa newsletter.