Die Begeisterung für generative KI hat eine große Zahl von KI-Start-ups hervorgebracht und massive Investitionen angeheizt, die laut Goldman Sachs in den kommenden Jahren 1 Billion US-Dollar übersteigen werden. Amazon ist nun das jüngste Unternehmen, das seinen Worten Taten folgen lässt, und kündigt eine Investition von 110 Millionen US-Dollar in generative KI zur Finanzierung des Programms Build on Trainium an. Build on Trainium stellt Forschern Rechenzeit zur Verfügung, damit sie neue KI-Architekturen, Bibliotheken für maschinelles Lernen (ML) und Leistungsoptimierungen für groß angelegte, verteilte AWS Trainium UltraClusters entwickeln, erproben und umsetzen können. Trainium UltraClusters sind im Wesentlichen cloudbasierte Sammlungen von KI-Beschleunigern, die zu einem einzigen System verbunden werden können, um hochkomplexe Rechenaufgaben zu bewältigen.
Auf AWS-Trainium-Chips aufgebaut
Der AWS-Trainium-Chip ist auf das Training und die Inferenz im Bereich Deep Learning zugeschnitten. Alle KI-Fortschritte, die aus dieser Investition von Amazon in generative KI hervorgehen, werden als Open-Source-Angebote allgemein verfügbar gemacht. Forscher können auf den Trainium Research UltraCluster zugreifen, der über bis zu 40.000 für KI-Workloads optimierte Trainium-Chips verfügt – deutlich mehr Rechenleistung, als sie sich innerhalb akademischer Einrichtungen jemals leisten oder vor Ort zusammenstellen könnten.
Da Hochleistungsrechenressourcen, Grafikprozessoren (GPUs) und andere Elemente des KI-Arsenals nicht billig sind, könnten Budgetbeschränkungen den Fortschritt bei der KI bremsen. Diese Investition von Amazon in KI wird einigen Studierenden und Forschern an Hochschulen helfen, solche Einschränkungen zu überwinden. Ein Beispiel ist die Catalyst-Forschungsgruppe an der Carnegie Mellon University (CMU) in Pittsburgh, Pennsylvania. Sie nutzt Build on Trainium, um ML-Systeme zu untersuchen und zu entwickeln sowie Compiler-Optimierungen für KI zu entwickeln.
„Die Build-on-Trainium-Initiative von AWS ermöglicht unseren Lehrkräften und Studierenden den groß angelegten Zugang zu modernen Beschleunigern wie AWS Trainium über ein offenes Programmiermodell“, sagte Todd C. Mowry, Professor für Informatik an der CMU. „Dadurch können wir unsere Forschung zur Kompilierung von Tensorprogrammen, zur ML-Parallelisierung sowie zur Bereitstellung und Optimierung von Sprachmodellen erheblich ausweiten.“
Um die Entwicklung der KI-Innovation zu beschleunigen, investiert Amazon außerdem in eigene Technologien, die Forschern das Leben erleichtern. So ermöglicht die Neuron Kernel Interface (NKI) beispielsweise einen deutlich einfacheren direkten Zugriff auf die AWS-Trainium-Befehlssätze. Forscher können schnell optimierte Recheneinheiten als Teil ihrer neuen Modelle und Large Language Models (LLMs) entwickeln. Einer der ersten Durchbrüche, die zu erwarten sind, sind stärker fokussierte LLMs in kleinerem Maßstab.
„Kleine, speziell entwickelte LLMs werden bestimmte Anwendungsfälle für generative KI und agentische KI abdecken“, sagte Kevin Cochrane, CMO des cloud infrastructure provider Vultr. „2025 wird mehr Aufmerksamkeit darauf gerichtet werden, KI-Workloads den optimalen Rechenressourcen zuzuordnen, was die exponentielle Nachfrage nach spezialisierten GPUs antreiben wird.“