Les urgences ont soumis l’o1 d’OpenAI à un test diagnostique bien plus difficile qu’une question d’examen médical.
Dans le cadre d’une étude en aveugle s’appuyant sur les dossiers de patients issus de véritables consultations hospitalières, le système d’IA a diagnostiqué les cas traités aux urgences avec davantage de précision que deux médecins seniors. Publiés dans Science par des chercheurs de Harvard Medical School et du Beth Israel Deaconess Medical Center, ces résultats suggèrent que l’évaluation de l’IA médicale commence à se rapprocher des conditions désordonnées des soins réels.
Pour les hôpitaux, les chercheurs et les autorités de régulation, l’étude soulève une question plus vaste : quelle importance faut-il accorder à la précision diagnostique lorsque la sécurité, les décisions relatives aux examens et le jugement clinique continuent de déterminer ce qui arrive au patient ?
Le résultat auquel les chercheurs ne s’attendaient pas
Adam Rodman, l’un des principaux auteurs de l’étude et professeur adjoint de médecine à Harvard Medical School et au Beth Israel Deaconess, s’est lancé dans le test mené aux urgences avec de faibles attentes.
« Je pensais que ce serait une expérience amusante, mais qu’elle ne fonctionnerait pas très bien. C’est tout sauf ce qui s’est passé », a déclaré Rodman.
L’expérience menée aux urgences comprenait 76 cas du Beth Israel Deaconess Medical Center et comparait l’o1 d’OpenAI à GPT-4o ainsi qu’à un groupe de référence composé de médecins. L’écart le plus important apparaissait au tout début de la prise en charge. Lors du triage initial, alors que les informations sur les patients étaient les plus limitées, l’o1 a identifié le diagnostic exact ou un diagnostic très proche dans 67,1 % des cas. Les médecins ont obtenu 55,3 % et 50 %.
Le système est également resté en tête plus tard dans le parcours aux urgences, notamment après la consultation médicale et lors de l’admission dans un service de médecine ou en soins intensifs.
De vrais dossiers, une véritable incertitude
La partie consacrée aux urgences de la étude a abandonné les études de cas médicaux soigneusement préparées pour tester le modèle d’une manière plus proche du déroulement réel d’un diagnostic à l’hôpital.
« Pour mieux comprendre les performances en conditions réelles, nous devions évaluer le système au début du parcours du patient, lorsque les données cliniques sont rares », a déclaré Thomas Buckley, coauteur principal de l’étude.
Les cas traités aux urgences provenaient directement de dossiers médicaux électroniques, et Harvard a précisé que l’équipe n’avait pas prétraité les données avant de les transmettre au modèle. L’IA devait traiter des informations incomplètes et non structurées sur les patients, aux mêmes moments précoces où les cliniciens tentent encore de comprendre ce qui se passe.
Pas de feu vert pour des médecins IA
Les chercheurs ne prétendent pas que l’IA devrait diagnostiquer les patients seule. L’article de Science affirme que ces résultats justifient la mise en place d’essais cliniques prospectifs, ainsi que des études supplémentaires sur la manière dont les cliniciens et les systèmes d’IA devraient collaborer dans des contextes de soins réels.
La précision diagnostique n’est qu’un aspect des soins d’urgence. Les médecins doivent encore évaluer les risques, prescrire des examens, décider si un patient doit être hospitalisé et tenir compte de détails qui peuvent ne jamais apparaître clairement dans un dossier.
« Un modèle peut établir le bon diagnostic principal tout en recommandant des examens inutiles susceptibles d’exposer le patient à des préjudices », a déclaré Peter Brodeur, coauteur principal de l’étude et médecin clinicien en formation à Harvard Medical School et au Beth Israel Deaconess. « Les humains doivent constituer la référence ultime lorsqu’il s’agit d’évaluer les performances et la sécurité. »
Le prochain test consistera à déterminer si des systèmes comme l’o1 peuvent améliorer les soins lorsque les médecins les utilisent, et pas seulement s’ils peuvent battre les médecins dans un classement diagnostique.
Les chercheurs ont constaté que l’IA pouvait repérer de nombreux cas de cancer du pancréas avant qu’ils ne soient diagnostiqués bien avant que les médecins ne le puissent.