Le code source d’AlexNet, un réseau clé dans le développement des réseaux neuronaux artificiels qui ont rendu possible l’IA moderne, est désormais open source. Les chercheurs peuvent l’explorer sur la page GitHub du Computer History Museum.
Le code source d’AlexNet est désormais accessible au public, notamment parce que Computer History Museum le conservateur Hansen Hsu a contacté son créateur, Alex Krizhevsky, en invoquant la « portée historique » du code. L’obtention du code a nécessité cinq ans de négociations avec Google. Après tout, Google avait racheté DNNResearch, l’entreprise qui détenait AlexNet. D’autres dépôts de code baptisés AlexNet existaient déjà sur le Web, mais il s’agissait de reconstitutions fondées sur un article de recherche de 2012, et non de l’original.
La naissance d’AlexNet et l’essor des réseaux neuronaux
AlexNet est le fruit d’une collaboration entre Ilya Sutskever et Alex Krizhevsky — alors étudiants diplômés à l’Université de Toronto — ainsi que Geoffrey Hinton, leur encadrant universitaire. Hinton et ses étudiants travaillaient déjà à l’utilisation de GPU pour entraîner des réseaux neuronaux destinés à la reconnaissance d’images et de la parole, mais les données disponibles à l’époque n’étaient pas suffisantes pour permettre une utilisation généralisée des réseaux neuronaux dans la reconnaissance d’images.
Pendant ce temps, Fei-Fei Li, professeure à Stanford, travaillait sur un projet remarquable mais confidentiel baptisé ImageNet, une base de données d’images annotées manuellement qui pouvait servir à entraîner des réseaux de vision par ordinateur. En 2010, elle a organisé un concours visant à améliorer la détection d’objets par vision par ordinateur. En 2011, Sutskever a suggéré à Krizhevsky qu’il entraîne un réseau neuronal convolutif pour le défi ImageNet. Hinton a rejoint le projet en tant que chercheur principal.
« Ilya pensait que nous devions le faire, Alex a réussi à le faire fonctionner et j’ai obtenu le prix Nobel », a raconté Hinton à Hsu.
Comment AlexNet a déclenché une révolution de l’apprentissage profond
Krizhevsky a utilisé le code CUDA de NVIDIA et deux GPU NVIDIA pour entraîner AlexNet. Il avait auparavant développé cuda-convnet, un réseau neuronal convolutif qui utilisait également CUDA et des GPU. AlexNet a remporté le concours de reconnaissance d’images ImageNet en 2012.
L’article présenté par Krizhevsky lors d’une conférence sur la vision par ordinateur à l’automne 2012 a marqué un tournant pour ce domaine. Par la suite, la plupart des articles consacrés à la vision par ordinateur se sont concentrés sur les réseaux neuronaux.
Après leur victoire au concours ImageNet, les trois chercheurs ont fondé une entreprise autour d’ImageNet, appelée DNNResearch, qui a ensuite été rachetée par Google. En 2022, Sutskever était cofondateur d’OpenAI et a lancé ChatGPT.
Depuis, l’IA générative a introduit la reconnaissance d’images dans nos téléphones, et NVIDIA a vu la demande de GPU capables de l’exécuter fortement augmenter. La lignée et les progrès d’AlexNet montrent à quel point l’histoire de l’IA générative est ancienne, même s’il a fallu attendre aujourd’hui pour disposer de la puissance de calcul et des immenses volumes de données d’entraînement nécessaires à son fonctionnement.