Der Quellcode von AlexNet, einem zentralen Netzwerk in der Entwicklung der künstlichen neuronalen Netze, die moderne KI ermöglichten, ist jetzt Open Source. Forschende können ihn auf der GitHub-Seite des Computer History Museum erkunden.
Der Quellcode von AlexNet ist jetzt öffentlich verfügbar, auch weil Computer History Museum-Kurator Hansen Hsu sich an den Entwickler Alex Krizhevsky wandte und dabei auf die „historische Bedeutung“ des Codes verwies. Die Sicherung des Codes erforderte fünf Jahre Verhandlungen mit Google. Schließlich hatte Google DNNresearch übernommen, das Unternehmen, dem AlexNet gehörte. Andere Code-Repositorien namens AlexNet gab es bereits im Netz, doch dabei handelte es sich um Nachbildungen des Codes auf Grundlage einer Forschungsarbeit aus dem Jahr 2012, nicht um das Original.
Die Entstehung von AlexNet und der Aufstieg neuronaler Netze
AlexNet war eine Zusammenarbeit zwischen Ilya Sutskever und Alex Krizhevsky – damals Doktoranden an der University of Toronto – sowie Geoffrey Hinton, ihrem akademischen Betreuer. Hinton und seine Doktoranden hatten bereits daran gearbeitet, GPUs zum Trainieren neuronaler Netze für die Bild- und Spracherkennung einzusetzen. Damals waren jedoch nicht genügend Daten verfügbar, um neuronale Netze in großem Umfang zur Bilderkennung einzusetzen.
Unterdessen arbeitete der Stanford-Professor Fei-Fei Li an einem bemerkenswerten, aber speziellen Projekt namens ImageNet, einer Datenbank mit von Hand beschrifteten Bildern, die zum Trainieren von Computer-Vision-Netzen eingesetzt werden konnte. 2010 veranstaltete sie einen Wettbewerb, um die Objekterkennung mit Computer Vision zu verbessern. 2011 schlug Sutskever Krizhevsky vor, für die ImageNet-Herausforderung ein neuronales Faltungsnetz zu trainieren. Hinton schloss sich dem Projekt als leitender Forscher an.
„Ilya dachte, wir sollten es tun, Alex brachte es zum Laufen, und ich bekam den Nobelpreis“, sagte Hinton zu Hsu.
Wie AlexNet die Deep-Learning-Revolution auslöste
Krizhevsky nutzte den CUDA-Code von NVIDIA und zwei NVIDIA-GPUs, um AlexNet zu trainieren. Zuvor hatte er cuda-convnet entwickelt, ein neuronales Faltungsnetz, das ebenfalls CUDA und GPUs nutzte. AlexNet gewann 2012 den ImageNet-Wettbewerb zur Bilderkennung.
Die Forschungsarbeit, die Krizhevsky im Herbst 2012 auf einer Computer-Vision-Konferenz vorstellte, markierte einen Wendepunkt für Computer Vision. Danach konzentrierten sich die meisten Forschungsarbeiten im Bereich Computer Vision auf neuronale Netze.
Nach dem Sieg beim ImageNet-Wettbewerb gründeten die drei Forschenden ein rund um ImageNet aufgebautes Unternehmen namens DNNResearch, das später von Google übernommen wurde. 2022 war Sutskever Mitgründer von OpenAI und brachte ChatGPT heraus.
Seitdem hat die generative KI die Bilderkennung in unsere Smartphones gebracht, und NVIDIA verzeichnet eine sprunghaft gestiegene Nachfrage nach GPUs, auf denen sie ausgeführt werden kann. Die Entwicklungslinie und der Fortschritt von AlexNet zeigen, wie lang die Geschichte der generativen KI tatsächlich ist – auch wenn erst heute die Rechenleistung und die enormen Mengen an Trainingsdaten verfügbar sind, die für ihre Funktionsfähigkeit erforderlich sind.