Stellen Sie sich eine Software vor, die Hunderte von Live-Videostreams gleichzeitig verfolgen, verstehen, was geschieht, und alles innerhalb von Sekunden zusammenfassen kann. Mit NVIDIAs neuem AI Blueprint for Video Search and Summarization (VSS), einer leistungsstarken Ergänzung des stetig wachsenden Arsenals an Entwicklerwerkzeugen, ist das nun Realität. Das Tool kann eine Stunde Videomaterial zu einer einminütigen Zusammenfassung verdichten und steht damit vor dem Durchbruch für Branchen von der Fertigung bis zur Mitarbeiterschulung – überall dort, wo jede Sekunde und jedes Detail zählt.
KI-Agenten können Videokonferenzen begleiten oder in Fabriken eingesetzt werden
AI Blueprint for VSS bietet Entwicklern ein Framework zur Analyse archivierter und live übertragener Videos. Mit dem Tool können sie KI-Agenten entwickeln, die zugehörige Videos durchsuchen und zusammenfassen, Audio transkribieren oder bestimmte Informationen daraus extrahieren. Der Elektronikfertiger Pegatron, ein früher Kunde, sagte, dass die mit AI Blueprint for VSS entwickelten KI-Agenten die Arbeitskosten um 7 % und die Fehlerquote um 67 % senkten.
Ein mit AI Blueprint for VSS zur Analyse erstellter Agent simuliert anhand der ihm beschriebenen Ereignisse einen Autounfall. Bild: NVIDIA
In der Fertigung ermöglicht VSS die Erkennung und Verfolgung von Objekten. In Smart Cities könnte das System auch den Verkehr überwachen. Die Funktionen zur Umwandlung von Sprache in Text könnten bei Teambesprechungen, Keynote-Vorträgen oder der Schulung neuer Mitarbeiter eingesetzt werden. So kann die KI beispielsweise analysieren, wie ein Mitarbeiter eine Aufgabe ausführt, und diese anschließend in einzelne Schritte zerlegen, um sie einem neuen Auszubildenden zu zeigen.
So funktioniert AI Blueprint for VSS
Hinter AI Blueprint for VSS steht NVIDIA Metropolis, eine Entwicklerplattform zur Automatisierung physischer Abläufe. Die Plattform nutzt die Sprachmodelle von NVIDIA wie das Videomodell VILA und Llama Nemotron, um riesige Mengen an Videodaten schnell zusammenzufassen. Über NeMo-Retriever-Microservices, die erstmals 2023 verfügbar gemacht wurden, ist sie mit den Unternehmensdaten des Kunden verbunden.
Die von AI Blueprint for VSS verarbeiteten Unternehmensdaten werden mittels Retrieval-Augmented Generation verarbeitet. Dabei wird die KI-Ausgabe mit Daten aus der realen Welt abgeglichen, um Halluzinationen zu reduzieren.
Die aktuelle Version bietet erweiterte Hardwareunterstützung für:
- NVIDIA A100
- NVIDIA H100 GPU
- NVIDIA RTX 6000 PRO
- NVIDIA DGX Spark
Die Bereitstellung ist über den NVIDIA API Catalog, Launchables, Docker, Helm-Charts oder die Cloud möglich.