Après avoir évalué les capacités prédictives des grands modèles de langage (LLM), des chercheurs de University College London (UCL) ont constaté que les modèles d’IA pouvaient prédire les résultats d’études de neurosciences proposées avec une plus grande précision que les experts humains. Ces travaux soulignent le potentiel de l’IA pour accélérer les progrès scientifiques lorsqu’elle est appliquée aux neurosciences.
Les résultats de l’étude, publiés dans Nature Human Behaviour, indiquent que les LLM ont systématiquement surpassé les neuroscientifiques humains dans la prédiction des résultats d’études de neurosciences, avec une précision moyenne de 81,4 % contre 63,4 % pour les experts humains.
Mesurer la précision des prédictions de l’IA
Pour évaluer la capacité des LLMs à prédire les résultats d’études, les chercheurs de l’UCL ont développé un outil de référence pour les neurosciences appelé BrainBench. Cet outil a quantifié et comparé les capacités prédictives de 171 experts humains en neurosciences et de 15 LLM généralistes. Les chercheurs ont testé leur capacité à identifier le résumé authentique parmi deux paires de résumés d’études, chacune contenant un résumé réel et un autre dont les résultats avaient été modifiés.
Les résultats de l’étude ont révélé que la précision des experts humains restait constamment inférieure à celle des modèles AI. Bien que tous les participants humains aient réussi un test de sélection visant à prédire les résultats de recherches en neurosciences, même ceux qui possédaient la plus grande expertise dans des domaines précis des neurosciences se sont montrés moins précis (66 %) que les LLM.
La recherche portait sur des cas de test couvrant chaque domaine des neurosciences, notamment les neurosciences cellulaires/moléculaires, comportementales/cognitives, des systèmes/circuits, du développement/de la plasticité/de la réparation et la neurobiologie des maladies. Les LLM évalués comprenaient différentes versions de Falcon, Llama, Mistral et Galactica. À la lumière de ces résultats, les chercheurs ont développé BrainGPT, un nouveau LLM créé à partir d’une version existante de Mistral et entraîné spécifiquement sur des publications scientifiques issues de revues parues de 2002 à 2022. Le modèle BrainGPT a affiché un niveau de précision encore supérieur, atteignant 86 %.
L’avenir de l’IA dans les neurosciences
Les résultats de l’étude indiquent que la technologie d’intelligence artificielle prédictive pourrait améliorer les processus des neurosciences et accélérer les progrès scientifiques.
« Les progrès scientifiques reposent souvent sur des essais et des erreurs, mais chaque expérience minutieuse exige du temps et des ressources », a déclaré Ken Luo, auteur principal de l’étude de l’UCL. Même les chercheurs les plus compétents peuvent passer à côté d’informations essentielles issues de la littérature scientifique. « Nos travaux cherchent à déterminer si les LLM peuvent repérer des schémas dans d’immenses corpus scientifiques et prévoir les résultats d’expériences. »
L’auteur senior de l’étude, le professeur Bradley Love, a abondé dans ce sens. « Cette réussite laisse penser qu’une grande partie de la science n’est pas véritablement nouvelle, mais qu’elle suit les schémas de résultats déjà présents dans la littérature », a-t-il déclaré.
À l’avenir, intégrer des LLM entraînés stratégiquement dans les systèmes plus vastes que les neuroscientifiques utilisent pour leurs recherches pourrait les aider à déterminer quelles expériences mener et les guider vers des décisions optimales concernant des ressources limitées comme l’argent et le temps, améliorant ainsi l’efficacité de la recherche.