Imaginez un logiciel capable de regarder simultanément des centaines de flux vidéo en direct, de comprendre ce qui s’y passe et de tout résumer en quelques secondes. C’est désormais une réalité grâce au nouvel AI Blueprint for Video Search and Summarization (VSS) de NVIDIA, un ajout puissant à son arsenal croissant d’outils pour les développeurs. Capable de condenser une heure de vidéo en un résumé d’une minute, cet outil est en passe de transformer des secteurs allant de l’industrie manufacturière à la formation des employés, où chaque seconde et chaque détail comptent.
Les agents IA peuvent s’intégrer aux réunions vidéo ou être déployés dans les usines
AI Blueprint for VSS fournit aux développeurs un cadre pour analyser des vidéos archivées comme des vidéos en direct. Grâce à cet outil, ils peuvent créer des agents IA capables d’effectuer des recherches, de résumer, de retranscrire l’audio ou d’extraire des informations précises à partir de vidéos connexes. Pegatron, un fabricant de composants électroniques et client précoce, a déclaré que les agents IA conçus avec AI Blueprint for VSS avaient réduit les coûts de main-d’œuvre de 7 % et les taux de défauts de 67 %.
Un agent conçu pour l’analyse avec AI Blueprint for VSS simule une collision automobile à partir d’événements qui lui sont décrits. Image : NVIDIA
Dans l’industrie manufacturière, VSS permet de détecter et de suivre des objets. Il pourrait également surveiller la circulation dans les villes intelligentes. Les fonctions de conversion de la parole en texte pourraient être utilisées pendant des réunions d’équipe, des discours d’ouverture ou la formation de nouveaux employés. Par exemple, l’IA peut analyser un employé en train d’effectuer une tâche, puis décomposer cette tâche en étapes pour les présenter à un nouveau stagiaire.
Comment fonctionne AI Blueprint for VSS
AI Blueprint for VSS repose sur NVIDIA Metropolis, une plateforme pour développeurs qui automatise les processus physiques. La plateforme utilise les modèles de langage de NVIDIA’, comme le modèle vidéo VILA et Llama Nemotron, pour résumer rapidement de vastes quantités de données vidéo. Elle est reliée aux données d’entreprise du client par l’intermédiaire des microservices NeMo Retriever, lancés pour la première fois en 2023.
Les données d’entreprise analysées par AI Blueprint for VSS sont traitées par génération augmentée par récupération, qui confronte la sortie de l’IA aux données du monde réel afin de réduire les hallucinations.
La version actuelle offre une prise en charge matérielle étendue pour :
- NVIDIA A100
- NVIDIA H100 GPU
- NVIDIA RTX 6000 PRO
- NVIDIA DGX Spark
Il peut être déployé via le catalogue d’API de NVIDIA, Launchables, Docker, des charts Helm ou le cloud.