Als Reaktion auf den Boom der generativen künstlichen Intelligenz (KI) NVIDIA hat seine Jetson-Plattform für Edge-KI und Robotik umfassend aktualisiert. Die Neuerungen konzentrieren sich auf das Isaac Robot Operating System (ROS)-Framework und Metropolis, zwei zentrale Komponenten der Plattform.
Generative KI: Der Gamechanger
Seit fast einem Jahrzehnt findet die NVIDIA-Jetson-Plattform in verschiedenen Branchen wie Transport, Fertigung und Gesundheitswesen breite Anwendung: Mehr als 10.000 Unternehmen, 1.000 Partner und über eine Million Entwickler nutzen sie.
Während die generative KI weiterhin Text und die Verarbeitung natürlicher Sprache revolutioniert, wirkt sie sich auch auf Computer Vision aus. Diese transformative Technologie dürfte Fortschritte bei autonomen Maschinen und in der Robotik ermöglichen, in denen Kameras eine zentrale Rolle spielen.
Während traditionelle konvolutionale neuronale Netze (CNN) in der Vergangenheit die Grundlage für Computer Vision bildeten, sind sie häufig auf bestimmte Aufgaben zugeschnitten und benötigen riesige Datenmengen, was zu längeren Entwicklungszyklen führt. Generative KI bietet dagegen eine höhere Generalisierbarkeit und ermöglicht dadurch eine schnellere Entwicklung und größere Genauigkeit.
Darüber hinaus kann generative KI Elemente erkennen und mit ihnen interagieren, auf die sie nicht trainiert wurde – genau darauf zielt die Ankündigung von NVIDIA ab. Generative KI hat ihre Leistungsfähigkeit bereits in zahlreichen Anwendungen unter Beweis gestellt, etwa bei der Videosuche, der Echtzeitverfolgung von Assets, der autonomen Planung, der Roboternavigation, dem Imitationslernen für Roboter, der Fehlerprüfung und der natürlichen Interaktion zwischen Mensch und Roboter.
Siehe auch: Die besten Apps und Tools für generative KI
NVIDIA hat festgestellt, dass sich diese Fortschritte auch am Edge nutzen lassen. Das Unternehmen verschiebt mithilfe generativer KI die Grenzen der Computer Vision.
NVIDIA hat eine Vielzahl von Tutorials, Leitfäden und Beispielen entwickelt, um die Nutzung beliebter generativer KI-Modelle zu erleichtern. Während zahlreiche NVIDIA-Kunden – darunter Technologiegiganten wie Amazon Web Services (AWS), Cisco und Siemens – Jetson in ihre Abläufe integrieren, stellte NVIDIA das Jetson Generative AI Lab vor, um die Entwicklung von KI-Anwendungen zu beschleunigen. Die neue Software bietet Entwicklern Zugriff auf hochmoderne Open-Source-Modelle für generative KI.
„Fast alle beliebten generativen KI-Modelle laufen ausschließlich in der Cloud, aber jetzt können Sie sie mit Jetson auch am Edge ausführen. Wir haben außerdem Beispielskripte, falls Sie eine komprimierte Version erstellen möchten. Jetson-Entwickler können also sofort mit der Entwicklung von Anwendungen mit generativer KI beginnen“, sagte Deepu Talla, Vice President für Embedded- und Edge-Computing bei NVIDIA, während eines Pressegesprächs.
Siehe auch: 100+ führende KI-Unternehmen 2023
Updates für Metropolis und Isaac-Frameworks
Metropolis soll Unternehmen dabei helfen, KI-basierte Computer Vision zur Lösung kritischer betrieblicher und sicherheitsrelevanter Probleme einzusetzen. Die Plattform stellt Application Programming Interfaces (APIs) und Microservices bereit, die die Entwicklung komplexer, auf visuellen Daten basierender Anwendungen erleichtern – vor allem für Videoanalysen.
Unternehmen wie BMW und PepsiCo nutzen Metropolis-Tools, um Probleme im Zusammenhang mit dem Internet der Dinge (IoT), Sensoren und betrieblichen Abläufen mithilfe visueller künstlicher Intelligenz zu lösen. Bis zum Jahresende plant NVIDIA, ein erweitertes Set aus Metropolis-APIs und Microservices für die Jetson-Plattform zu veröffentlichen.
Die Isaac-Plattform ist in verschiedenen Bereichen beliebt, etwa bei der Lagerautomatisierung, der intelligenten Fertigung und in der Landwirtschaft, wo sie zur Entwicklung robuster Robotiklösungen eingesetzt wird. NVIDIA hat die Isaac-Plattform umfassend verbessert, insbesondere ihre Funktionen für Wahrnehmung und Simulation. Die Isaac-ROS-Software bietet eine Reihe GPU-beschleunigter Funktionen wie Tiefenwahrnehmung und die Rekonstruktion von 3D-Szenen. Die neueste Version, Isaac ROS 2,0, kann jetzt zusammen mit Jetson für die Entwicklung von Robotiklösungen eingesetzt werden.
Zusätzlich führte NVIDIA KI-Referenz-Workflows ein, um Entwicklungszeit und -kosten zu reduzieren. Im weiteren Jahresverlauf soll NVIDIA JetPack 6 vorstellen. JetPack 6 ermöglicht KI-Entwicklern den Zugriff auf die neuesten Computing-Funktionen, ohne Jetson Linux vollständig aktualisieren zu müssen. Die neue Version wird mit verschiedenen Linux-Distributionen funktionieren, darunter Ubuntu, Wind River Linux und Redhawk Linux sowie weitere.
Siehe auch: Die beste Software für künstliche Intelligenz 2023
Die Grenzen der Computer Vision verschieben
Die transformativen Fähigkeiten generativer KI werden voraussichtlich Branchen neu definieren, die auf Computer-Vision-Technologien angewiesen sind. Die Anwendung in der Praxis ist keine bloße Vision, sondern eine erreichbare Zukunft, so Talla, der drei Anwendungsfälle vorstellte, die das Potenzial generativer KI veranschaulichen:
- Das Transformer-PeopleNet-Modell wurde darauf trainiert, Personen in Videos mit hoher Genauigkeit zu erkennen.
- Das Modell Detection Anything nutzt Vision Transformer, um Objekte in Echtzeit wahrzunehmen und zu klassifizieren.
- Das Modell Multi-Modal AI Visual Agent ermöglicht kontextbezogene Suchen von Text zu Bild und von Bild zu Bild.
In einer Einzelhandelsumgebung kann dies beispielsweise Informationen in Echtzeit liefern, den Personenverkehr analysieren, Personen erkennen und Warnmeldungen zu möglichen Sicherheitsverletzungen erzeugen. Alle drei Modelle sind zur öffentlichen Nutzung kostenlos verfügbar.
„Die Menschen möchten diese Modelle ausprobieren, bevor sie in die Produktion gehen. Deshalb haben wir eine Spielwiese eingerichtet, auf der sie die neuesten Modelle herunterladen und testen können“, sagte Talla.
Angesichts der von NVIDIA erzielten Fortschritte dürfte die Jetson-Plattform maßgeblich dazu beitragen, die Entwicklung von KI und Robotik zu prägen. Sie verspricht, Entwicklungsprozesse zu vereinfachen und eine Vielzahl von Anwendungen in der Praxis zu ermöglichen.
Siehe auch: Unternehmen für generative KI: Die 12 führenden Anbieter