Une étude récente a révélé que les stratégies des grands modèles de langage (LLM) pour traiter les conversations humaines sont remarquablement similaires à celles utilisées par le cerveau humain. Menée par des équipes comprenant des chercheurs de Google AI, de l’université de Princeton, de l’université de New York et de l’université hébraïque de Jérusalem, l’étude regroupait cinq années de travaux distincts visant à examiner les différences et les similitudes entre la génération actuelle de LLM et le cerveau humain.
Les LLM aident les systèmes d’IA à comprendre, traiter et produire des langues humaines en analysant de vastes ensembles de données textuelles, puis en appliquant des stratégies comme l’apprentissage par renforcement et la prédiction du mot suivant pour générer des structures de langage naturel.
Les chercheurs ont utilisé, pour la partie consacrée à l’IA de leurs travaux, du texte généré par Whisper, un outil de transcription automatique de la parole. En comparant ces résultats à ceux d’électrodes intracrâniennes utilisées pour enregistrer 100 heures de conversations du monde réel, ils ont constaté un « alignement remarquable » avec le cerveau humain et les représentations internes de l’IA — également appelées plongements.
Whisper extrait deux plongements de chaque mot : des plongements acoustiques et des plongements linguistiques. L’étude a révélé que les plongements de Whisper sont très similaires à l’activité neuronale observée dans les régions cérébrales humaines de la parole et du langage.
Différences et similitudes
Des recherches antérieures ont montré que les régions du cerveau humain dédiées au langage tentent activement de prédire le mot suivant d’une phrase avant même qu’il ne soit prononcé à voix haute. Les meilleurs LLM utilisent plusieurs stratégies différentes, notamment la prédiction du mot suivant, pour mieux comprendre le langage naturel. Mais les LLM et le cerveau humain présentent également des différences notables. Alors que les outils d’IA générative et les LLM actuels sont suffisamment puissants pour traiter simultanément des centaines de milliers de mots, les régions cérébrales humaines dédiées au langage traitent les mots de manière séquentielle, un à la fois.
Qu’est-ce que cela signifie pour l’avenir des LLM ?
Les chercheurs affirment que leur étude récente pourrait nous aider à mieux comprendre l’activité neuronale du cerveau humain, en particulier dans les régions de la parole et du langage. L’étude apprend également aux développeurs d’IA à entraîner un modèle d’IA plus efficacement — et davantage à la manière du cerveau humain.
« À l’avenir, notre objectif est de créer des réseaux neuronaux artificiels innovants, inspirés de la biologie, dotés de capacités améliorées pour traiter l’information et fonctionner dans le monde réel », ont déclaré les chercheurs dans un récent billet de blog. « Nous comptons y parvenir en adaptant l’architecture neuronale, les protocoles d’apprentissage et les données d’entraînement afin qu’ils correspondent davantage aux expériences humaines. »