Face à l’essor de l’intelligence artificielle (IA) générative, NVIDIA a apporté des mises à jour importantes à sa Jetson plateforme dédiée à l’IA en périphérie et à la robotique. Ces mises à jour concernent principalement le framework Isaac Robot Operating System (ROS) et Metropolis, deux composants essentiels de la plateforme.
L’IA générative : un véritable bouleversement
Depuis près de dix ans, la plateforme NVIDIA Jetson connaît une adoption importante dans divers secteurs comme les transports, l’industrie manufacturière et la santé, avec plus de 10 000 entreprises, 1 000 partenaires et plus d’un million de développeurs qui l’utilisent.
Alors que l’IA générative continue de révolutionner le traitement des textes et du langage naturel, elle transforme également la vision par ordinateur. Cette technologie transformatrice devrait faire progresser les machines autonomes et la robotique, où les caméras jouent un rôle déterminant.
Si les réseaux neuronaux convolutifs traditionnels (CNN) ont longtemps été la référence en matière de vision par ordinateur, ils sont souvent conçus pour des tâches spécifiques et nécessitent d’énormes quantités de données, ce qui allonge les cycles de développement. L’IA générative offre toutefois une meilleure capacité de généralisation, permettant un développement plus rapide et une précision accrue.
En outre, l’IA générative peut reconnaître et interagir avec des éléments sur lesquels elle n’a pas été entraînée, ce qui constitue le point central de l’annonce de NVIDIA. Elle a déjà démontré sa puissance dans diverses applications, comme la recherche vidéo, le suivi des actifs en temps réel, la planification autonome, la navigation des robots, l’apprentissage par imitation pour les robots, l’inspection des défauts et l’interaction naturelle entre humains et robots.
À lire aussi : Les meilleures applications et outils d’IA générative
NVIDIA a découvert que ces avancées pouvaient également être exploitées en périphérie. L’entreprise repousse les limites de la vision par ordinateur grâce à l’IA générative.
NVIDIA a développé divers tutoriels, guides et exemples pour faciliter l’utilisation de modèles d’IA générative populaires. Alors que nombre de clients de NVIDIA – parmi lesquels des géants de la technologie comme Amazon Web Services (AWS), Cisco et Siemens – intègrent Jetson à leurs activités, NVIDIA a lancé le Jetson Generative AI Lab afin d’accélérer le développement d’applications d’IA. Ce nouveau logiciel permet aux développeurs d’accéder à des modèles d’IA générative open source de pointe.
« Presque tous les modèles d’IA générative populaires fonctionnent uniquement dans le cloud, mais vous pouvez désormais les exécuter en périphérie avec Jetson. Nous proposons également des scripts d’exemple si vous souhaitez créer une version distillée. Les développeurs Jetson peuvent donc commencer à développer des applications d’IA générative », a déclaré Deepu Talla, vice-président de l’informatique embarquée et en périphérie chez NVIDIA, lors d’un point presse.
À lire aussi : Plus de 100 grandes entreprises de l’IA en 2023
Mises à jour des frameworks Metropolis et Isaac
Metropolis vise à aider les entreprises à utiliser l’IA de vision par ordinateur pour répondre à des enjeux opérationnels et de sécurité critiques. La plateforme fournit des interfaces de programmation d’applications (API) et des microservices qui facilitent le développement d’applications complexes fondées sur la vision, principalement pour l’analyse vidéo.
Des entreprises comme BMW et PepsiCo utilisent les outils de Metropolis pour résoudre des problématiques liées à l’Internet des objets (IoT), aux capteurs et aux opérations grâce à l’intelligence artificielle. D’ici la fin de l’année, NVIDIA prévoit de publier un ensemble enrichi d’API et de microservices Metropolis pour la plateforme Jetson.
La plateforme Isaac est prisée dans différents secteurs, comme l’automatisation des entrepôts, la fabrication intelligente et l’agriculture, pour créer des solutions robotiques robustes. NVIDIA a considérablement amélioré la plateforme Isaac, notamment ses fonctions de perception et de simulation. Le logiciel Isaac ROS propose diverses fonctions accélérées par processeur graphique (GPU), comme la perception de la profondeur et la reconstruction de scènes en 3D. La dernière version, Isaac ROS 2,0, est désormais disponible avec Jetson pour le développement de solutions robotiques.
NVIDIA a également présenté des workflows de référence pour l’IA afin de réduire le temps et les coûts de développement, et prévoit de dévoiler NVIDIA JetPack 6 plus tard cette année. JetPack 6 permettra aux développeurs d’IA d’accéder aux dernières fonctionnalités de calcul sans mettre entièrement à niveau Jetson Linux. Cette nouvelle version fonctionnera avec diverses distributions Linux, notamment Ubuntu, Wind River Linux et Redhawk Linux.
À lire aussi : Les meilleurs logiciels d’intelligence artificielle en 2023
Repousser les limites de la vision par ordinateur
Les capacités transformatrices de l’IA générative sont appelées à redéfinir les secteurs qui s’appuient sur les technologies de vision par ordinateur. Selon Talla, les applications concrètes ne relèvent pas d’une simple vision, mais constituent un avenir accessible. Il a présenté trois cas d’usage qui illustrent le potentiel de l’IA générative :
- Le modèle Transformer PeopleNet a été entraîné à détecter les personnes dans les vidéos avec une grande précision.
- Le modèle Detection Anything utilise des transformeurs de vision pour percevoir et classer des objets en temps réel.
- Le modèle Multi-Modal AI Visual Agent permet d’effectuer des recherches contextuelles de texte vers image et d’image vers image.
Dans un contexte de vente au détail, par exemple, cette technologie peut fournir des informations en temps réel, analyser les flux de circulation, détecter les personnes et générer des alertes en cas de failles de sécurité potentielles. Les trois modèles sont librement disponibles pour un usage public.
« Les utilisateurs veulent tester ces modèles avant leur mise en production. Nous avons donc créé un espace de test permettant de télécharger les derniers modèles et de les essayer », a déclaré Talla.
Compte tenu des avancées réalisées par NVIDIA, la plateforme Jetson devrait jouer un rôle déterminant dans l’évolution de l’IA et de la robotique. Elle promet de simplifier les processus de développement et d’offrir diverses applications concrètes.
À lire aussi : Entreprises d’IA générative : les 12 leaders