Red Hat skizzierte Anfang November seine Vision für die Zukunft von KI und Open-Source-Software, als das Unternehmen die Übernahme von Neural Magic, einem führenden Unternehmen für die Optimierung von Machine-Learning-Modellen, bekannt gab. Der Schritt könnte langfristige Auswirkungen auf generative KI und Modelloptimierung.
Was ist Neural Magic?
Die Optimierung von Machine-Learning-Modellen durch Neural Magic läuft auf handelsüblicher Hardware der aktuellen Generation, darunter Zentraleinheiten (CPUs) und Grafikprozessoren (GPUs). Durch den Einsatz handelsüblicher Hardware statt der Tensorprozessoren (TPUs), die typischerweise beim maschinellen Lernen verwendet werden, möchte das Unternehmen große Sprachmodelle (LLMs) für alle zugänglicher machen. Zu diesem Zweck bietet es ein Repository mit vorgefertigten Vorlagen für die sofortige Bereitstellung. Für fortgeschrittene Nutzer unterstützt Neural Magic außerdem benutzerdefinierte Workflows über ONNX- oder PyTorch-Modelle.
Das Konzept von Software zur KI-Optimierung ist zwar nicht völlig neu, doch die Plattform von Neural Magic steht Nutzern kostenlos zur Verfügung. Sie lässt sich außerdem in zahlreiche Open-Source-Tools integrieren, was sie ideal für das wachsende KI-Portfolio von Red Hat macht. Red Hat ist vielleicht am besten für seine Distribution Red Hat Enterprise Linux bekannt.
„Bei Neural Magic haben wir einige der besten Talente der Branche im Bereich KI-Performance-Engineering versammelt – mit der klaren Mission, offene, plattformübergreifende und hocheffiziente Bereitstellungsfunktionen für LLMs zu entwickeln“, sagte Brian Stevens, CEO von Neural Magic, kürzlich in einem Interview.
Der nächste Schritt bei der LLM-Verarbeitung
Als Unternehmen ist Red Hat bereits für seine Beiträge zur Open-Source-Softwarebewegung bekannt. In den vergangenen Jahren machte das Unternehmen jedoch weltweit Schlagzeilen mit seiner Hinwendung zur KI. Nicht nur stellt die Übernahme von Neural Magic den neuesten Schritt auf dem Weg zur Einführung generativer KI dar, sondern sie gibt Red Hat insbesondere die Möglichkeit, LLM-Bereitstellungen und KI-Workloads für Unternehmen jeder Größe und Größenordnung zu unterstützen.
Da Red Hat Virtual Large Language Model (vLLM) bereits für Inferenz in Produkten wie Red Hat Enterprise Linux AI und OpenShift AI als Teil seiner hybriden Cloud-KI-Lösungen einsetzt, war die Übernahme von Neural Magic für das Unternehmen ein naheliegender nächster Schritt. Das Red-Hat-Team hofft, die jüngste Übernahme nutzen zu können, um seine Präsenz in der vLLM-Community auszubauen und Veränderungen voranzutreiben – darunter einfach skalierbare und hocheffiziente Inferenz in Systemen, die handelsübliche Hardware verwenden.
Red Hat steht seit den 1990er-Jahren an der Spitze der technologischen Entwicklung. Die Übernahme von Neural Magic festigt seine Position als Branchenführer bei der Integration generativer KI und Implementierung.