Dells Jason Nassar über Computer Vision im Unternehmen: Vom Pilotprojekt zur Skalierung

Corey Noles: Hallo und willkommen zu eSpeaks von EWeek. Ich bin Ihr Moderator Corey Knowles. Heute geht es um die nächste Phase von Enterprise Computer Vision. Es geht um Änderungen, Herausforderungen und die Voraussetzungen für das Überführen erfolgreicher Pilotprojekte in Produktionssysteme. Computer Vision ist seit schon seit Jahren Teil der Gespräche mit Unternehmen, aber die Landschaft ändert sich rasant. Unternehmen haben jetzt mehr visuelle Daten als je zuvor – von Kameras, Sensoren, Geräten, Maschinen, Anlagen, Fahrzeugen und vernetzten Umgebungen. Gleichzeitig verwandeln Fortschritte in den Bereichen KI-Infrastruktur, Edge-Computing, beschleunigte Rechner und sogar Modellbereitstellung diese visuellen Daten in schnellere Erkenntnisse und reaktionsfähigere Abläufe. Um zu verstehen, wohin sich die Technologie entwickelt, begrüße ich heute Jason Nassar, Vertical Enablement Leader, Automation Platform, bei Dell Technologies. Wir sprechen über die geschäftlichen Probleme, die Computer Vision heute löst, über die mit der Skalierung verbundenen Infrastruktur- und Datenherausforderungen sowie über Denkansätze für Führungskräfte, wenn visuelle KI immer wichtiger für ihren Betrieb wird. Jason, danke, dass du heute dabei bist. Ich freue mich sehr.

Jason Nassar: Danke für die Einladung. Das freut mich, Corey.

Corey Noles: Schön. Computer Vision gibt es schon seit einer Weile, aber die Diskussion in der Unternehmenswelt scheint heute anders zu sein. Was hat sich aus deiner Sicht da in den letzten Jahren am meisten verändert?

Jason Nassar: Ich denke, die meisten Änderungen fanden im letzten Jahr statt, die größte davon betrifft die Architekturänderungen. Wir haben viel maschinelles Lernen genutzt und es ist nicht so, als gäbe es das nicht mehr, aber wir setzen jetzt zunehmend auf einen agentenbasierten Ansatz. Wir nutzen VLMs, also Vision Language Models, und das verändert alles. Wir wandeln Objekte, Formen und Farben in in numerische Werte um, die als Einbettungen bezeichnet werden. Dadurch konnten Unternehmen Vorgänge beschleunigen, die früher sehr viel Zeit brauchten. Du kannst Fragen dazu stellen, was auf den Bildern zu sehen ist. Das ist eine enorme Veränderung. Wir kennen die Funktionen von Chatbots, aber bei agentenbasierter KI kannst du fragen: Was hatte diese Person an? Was hat diese Person gemacht? Kann ich eine Quittung lesen? Was stand auf der Quittung? Oder auch: Wie ist das Wetter? Das verändert die Spielregeln im Bereich Computer Vision im Vergleich zu früher ganz erheblich. Außerdem wurden einige neue Modelle veröffentlicht. Zu diesen VLMs zählen z. B. Gemini Pro von Gemini, Clip von OpenAI, Quen von Alibaba und noch ein paar andere.

Corey Noles: Prima. Wenn Unternehmen mit Fragen zu Computer Vision an Dell herantreten, welche Geschäftsprobleme möchten sie in der Regel zuerst lösen?

Jason Nassar: Tja, das hängt sehr stark von der Branche ab. Mit Branche meine ich Fertigung, Energie und Einzelhandel. Darauf konzentrieren wir uns bei einem Anwendungsfall. In der Fertigung geht es konkret darum, die Produktqualität und die Prozesse zu verbessern. Unternehmen nutzen Computer Vision, um zu bestimmen, ob ein Produkt auf dem Förderband Mängel aufweist oder nicht. Zudem setzen sie Computer Vision ein, um Prozesse zu optimieren, ob aus ergonomischer Sicht, wenn Menschen beteiligt sind oder bei einem Vorgang am Fließband, bei dem programmierbare Logiksteuerungen genutzt werden. Bei Großveranstaltungen wird Computer Vision für Sicherheitszwecke eingesetzt, um z. B. in Stadien oder ähnlichen Einrichtungen zu erkennen, ob Waffen mitgebracht wurden. Oder, ebenfalls in Stadien, aber auch ein Anwendungsfall im Einzelhandel: das kassenlose Bezahlen. Das haben viele von uns schon mal gesehen oder gemacht. Dabei wird deine Kreditkarte gescannt, wenn du dich in die Schlange stellst, und du nimmst dir einfach, was du willst und gehst. Das Computer-Vision-System beobachtet alles und weiß, was du mitgenommen hast, und genau damit wird deine Karte belastet. Das habe ich erst diese Woche am Flughafen gesehen: Du gehst hin, legst deine Sachen ab und schon wird alles erfasst. Oder du gehst jetzt direkt zur Tür hinaus. Ja, das ist ziemlich erstaunlich. Ein interessanter Anwendungsfall im Einzelhandel ist, wenn jemand stöbert und ein Produkt in die Hand nimmt, sagen wir ein Shampoo. Die Person schaut sich das Produkt zwar an, ist aber nicht interessiert und legt es wieder zurück. Das Computer-Vision-System kann diese Person bis zur Kasse verfolgen und nachdem sie bezahlt hat, einen Coupon für dieses Produkt ausdrucken. Das ist bemerkenswert. Damit sprichst du deine Zielgruppe gezielt an, verbesserst deine Verkaufszahlen und steigerst den Umsatz. Es ist wirklich erstaunlich, wie weit wir gekommen sind.

Corey Noles: Wirklich wahr. Viele Unternehmen verfügen zwar über Kameras, Bilder, Videoaufnahmen und Sensordaten, aber das führt nicht automatisch zu einem geschäftlichen Nutzen. Was ist nötig, um aus diesen visuellen Daten umsetzbare Erkenntnisse für Unternehmen zu machen?

Jason Nassar: Zuerst muss die Rechenleistung dort sein, wo der Vorgang stattfindet. Diese hängt davon ab, wie intensiv deine Workload ist, ob Videos verarbeitet werden, ob Echtzeitdaten erforderlich sind oder ob der Vorgang etwas länger dauert. Wenn du aber in einer hochgradig gesicherten Umgebung wie der Fertigung arbeitest, benötigst du wahrscheinlich Server mit Beschleunigern oder GPUs, die sich ganz in der Nähe des Vorgangs befinden, damit die Workload, das Training und die Inferenz bewältigt werden können. Sofern du diese Geschwindigkeit nicht benötigst, können die Daten auch in das Rechenzentrum oder die Cloud übertragen werden. Das ist ein Aspekt. Du brauchst außerdem leistungsfähige Software, die diese Anwendungsfälle verarbeiten kann. Viele dieser Softwareanbieter oder ISVs bieten Software an, die bereits schon Hunderte von Anwendungsfällen integriert. Das kann die Sache vereinfachen und beschleunigen, aber du musst darauf achten, dass du sowohl die richtige Software für den Anwendungsfall als auch die passende Rechenlösung auswählst. Etwas Einfaches wie das Erkennen von Produkten wie Obst und Gemüse und die Angabe des Preises lässt sich tatsächlich auf einem x86-Prozessor erledigen. Das erfordert keine GPU. Wenn du jedoch Gesichtserkennung nutzen und genau verstehen willst, was vor sich geht – und vielleicht sogar die Emotionen einer Person anhand ihrer Körpersprache erkennen willst –, brauchst du dafür GPUs und Beschleuniger, die vor Ort für diesen Vorgang bereitstehen.

Corey Noles: Okay. Okay, das macht Sinn. Ich verstehe, worin der Unterschied liegt. Viele KI-Projekte im Bereich Computer Vision funktionieren im Pilotbetrieb gut, haben aber oft Schwierigkeiten im realen Betrieb. Was unterscheidet ein erfolgreiches Pilotprojekt von einer skalierbaren Enterprise-Bereitstellung?

Jason Nassar: Letztendlich ist der wichtigste Aspekt dabei, dass die Modelle richtig trainiert werden. Früher wurden viele dieser Pilotprojekte nicht in großem Maßstab realisiert, weil es keine Möglichkeit gab, diese Modelle so schnell zu trainieren wie heute. Die Software mit Hunderten Anwendungsfällen habe ich schon erwähnt. Sagen wir, du erwirbst ein Softwarepaket mit einem Anwendungsfall zur Verlustprävention, der richtig gut ist. Aber jeder einzelne Standort ist einzigartig. Früher war dafür eine programmierende Person oder eine mit IT-Expertise nötig, die sich das Video ansieht und das Modell ganz spezifisch auf den Anwendungsfall, das eigene Geschäft und die jeweilige Beleuchtung trainiert, damit es funktioniert. Das ist sehr zeitaufwendig. Soll es dann am Standort 2, 3 und 4 eingesetzt werden, können z. B. die Lichtverhältnisse ganz anders sein. Das verursacht eine Menge Probleme. Eine bemerkenswerte Entwicklung ist die Möglichkeit, schneller zu trainieren, weil anstelle von Menschen KI-Agenten die ganze Arbeit übernehmen können. Was als Pilotprojekt vielleicht Wochen oder gar Monate dauern würde, lässt sich in wenigen Stunden erledigen, weil du den Agenten nur anweisen musst, Videodateien und Beispiele für den genauen Standort hochzuladen und dann das Modell für Anwendungsfall A, B oder C zu trainieren. Das geht schneller als je zuvor und dein Modell ist besser abgestimmt, als ein Mensch das jemals könnte. Das ist die Art von Durchbruch, der Unternehmen eine Skalierung ermöglichen wird.

Corey Noles: Okay, das macht Sinn. Mir war nicht klar, was das Training alles beinhaltet. Dein Beispiel, dass etwas so Einfaches wie die Beleuchtung in Gebäuden und sogar Gebäudeteilen unterschiedlich sein kann, hat mir das verdeutlicht und jetzt verstehe ich auch die Herausforderung. Wenn Unternehmen Computer Vision von Pilotprojekten in die Produktion überführen, können die Anforderungen an die Infrastruktur wie erwähnt kompliziert werden, besonders hinsichtlich Datenperformance und der gewünschten Inferenzgeschwindigkeit. Wie unterstützen Dell und NVIDIA Unternehmen dabei, die wichtigsten Infrastrukturentscheidungen zu durchdenken?

Jason Nassar: Ja. Zunächst einmal haben wir viele FachexpertInnen wie mich und andere TechnikerInnen. Zudem bieten Dell und NVIDIA auch Beratungsservices an. Wir können uns den Betrieb und insbesondere den Anwendungsfall sowie die Ziele ansehen und sicherstellen, dass daraus auch ganz bestimmt ein Return on Investment folgt. Als Faustregel gilt: wird eine Verarbeitung in Echtzeit benötigt, muss die Rechenleistung direkt vor Ort im Betrieb verfügbar sein. Das bedeutet eine Bereitstellung hinter der Firewall, nicht unbedingt im Rechenzentrum oder in der Cloud, sondern direkt vor Ort, wo die die Verarbeitung stattfindet. Das ist besonders wichtig in der Fertigungsbranche, wo nahezu alles in Echtzeit erfolgt, und vielleicht Korrekturmaßnahmen ergriffen und Informationen an die Controller gesendet werden, je nachdem, was das Computer-Vision-System erkennt. Wenn jedoch sehr umfangreiche Rechenvorgänge durchgeführt werden und Echtzeit nicht unbedingt erforderlich ist – es werden einfach nur Leute gezählt, um zu verstehen, wie der Flughafenbetrieb läuft, um den Fluss zu optimieren –, kann das im Rechenzentrum erfolgen. Das Beste ist, dass Dell und NVIDIA eine AI Factory-Architektur und sehr spezifische AI Factory-Produkte dafür anbieten. Wir können unseren Kunden helfen und ihnen ganz genau sagen, was sie benötigen, um sehr schnell einen Return on Investment zu erzielen.

Corey Noles: Das ist sehr beeindruckend. Bei vielen Anwendungsfällen im Computerbereich ist das Timing wichtig – wie in deinem Beispiel mit dem Shampoo vor ein paar Minuten. Eine verzögerte Erkenntnis ist kaum nützlich, wenn es um Fertigung, Sicherheit, Qualitätskontrolle, Produktionsprobleme oder sogar operative Reaktionen geht. Wie gehen Unternehmen KI-Vision-Projekte in Echtzeit oder nahezu Echtzeit an? Und welche Rolle spielt beschleunigtes Computing dabei, eine Skalierung zu ermöglichen?

Jason Nassar: Die Rechenleistung muss dort vorhanden sein, wo der Vorgang stattfindet. Das ist der entscheidende Punkt beim Umgang mit Echtzeitdaten, aber es braucht auch eine Möglichkeit, das zu managen und zu orchestrieren. Die Schwierigkeit bei der Skalierung am Edge sind für gewöhnlich auf das OT-Profil zurückzuführen, das Operation Technology-Profil. Oft ist nur schwer zu verstehen, wie die lokale Skalierung der IT-Geräte gemäß Computer Vision erfolgen soll. Dell bietet zwei Plattformen, mit denen dies schnell erreicht werden kann: Dell Automation Platform und Dell Distributed Private Cloud. Beide Technologien ermöglichen die Bereitstellung von Betriebssystem-Softwarelösungen mit Zero-Touch-Bereitstellung. Okay. Sagen wir, ein Edge-Vorgang erfordert Echtzeit. Er soll an Hunderten, wenn nicht Tausenden Standorten weltweit bereitgestellt werden, um diesen Anwendungsfall wirklich zu realisieren. Und das sind die echten Fortschritte, die wir unseren Kunden bieten. Sie sorgen für ein sehr ähnliches Erlebnis wie Streaming-TV-Geräte, zum Beispiel Google Chromecasts und Amazon Fire Stick, bei denen die Rechenleistung direkt bei dem Vorgang bereitgestellt, der diese Echtzeit benötigt. Für Echtzeiteinblicke wird die Lösung angeschlossen und alle Softwarebetriebssysteme, Verbindungen, Datenintegrationen werden automatisch in großem Umfang auf Hunderten von Geräten bereitgestellt. Das bedeutet: Ein Vorgang, der normalerweise Monate gedauert hätte, lässt sich so auf Tage, manchmal sogar auf Stunden verkürzen – je nachdem, was gerade ansteht.

Corey Noles: Das ist Wahnsinn. Wenn es um Latenz im Zusammenhang mit Echtzeit geht, möchte ich nicht warten, bis meine Videodateien an AWS East gesendet wurden und dann zurückkommen, nach sie analysiert wurden. Auf diese Weise lässt sich Echtzeit nicht erreichen.

Jason Nassar: Echtzeitverarbeitung und Skalierung wären damit nicht möglich, nein. Viele dieser Unternehmen arbeiten in Umgebungen mit Air Gap. Sie sind in der Energiebranche oder Fertigung tätig und möchten Software für Computer Vision nutzen. Dazu folgen sie einer Architektur namens Purdue-Modell mit einer Firewall, die nicht einmal eine Verbindung mit dem Rechenzentrum zulässt. Folglich müssen die benötigte Rechenleistung und die beschleunigungsintensiven AI Factory-basierten Geräte für diesen Vorgang direkt vor Ort sein.

Corey Noles: Das macht Sinn. Computer Vision wirft viele wichtige Fragen auf, z. B. bei Datenschutz, Sicherheit, Voreingenommenheit, Governance. Was sollten Unternehmen tun, um von Anfang an Vertrauen in diese Systeme aufzubauen?

Jason Nassar: Meiner Ansicht nach muss Zero-Trust-Sicherheit von Anfang an berücksichtigt werden. Management und Orchestrierung müssen auf eine Weise gestaltet werden, die verhindert, dass jemand mit einem USB-Stick auftaucht und versucht, Änderungen am Endpunkt vorzunehmen. Und natürlich das Cybersicherheitsrisiko. Das kostet Unternehmen Millionen, wenn nicht gar zig Millionen Dollar, wenn das auch nur ein Mal passiert. Was bedeutet Zero Trust? Im Grunde nur, dass die einzigen Personen, die wirklich ändern können, was auf dem Gerät ist – also Software, Computer-Vision-Software, Betriebssystem und Integrationen –, die AdminstratorInnen sind. Dell bietet Dell Distributed Private Cloud, eine Lösung, bei der unsere Endpunktgeräte ab Werk mit Zero-Trust-Sicherheit bereitgestellt werden. Niemand kann die Geräte manipulieren. Das trifft speziell auf Umgebungen mit Air Gap zu, die, wie ich bereits erwähnt habe, dem Purdue-Modell folgen. Die Lösung erfüllt außerdem die Anforderungen von NURC und FERC, die gerade in der Energiebranche kritisch sind. Zum allerersten Mal gibt es direkt aus dem Dell Werk Geräte, die eine hohe Rechenleistung für anspruchsvolle KI-Anwendungen bieten und über Zero-Trust-Sicherheit verfügen – direkt von unserem Werk zu dem Standort, an dem der Anwendungsfall realisiert wird.

Corey Noles: Okay. Abgesehen von der Technologie an sich – welche Teams sollten einbezogen werden, damit Computer Vision im Unternehmensmaßstab erfolgreich sein kann?

Jason Nassar: Okay, eine Herausforderung bei OT-Umgebungen ist der Konflikt zwischen IT und OT. Normalerweise arbeiten die beiden nicht gerne zusammen, aber Tatsache ist: Mit Blick auf die KI muss das jetzt unbedingt passieren, denn Unternehmen, die künstliche Intelligenz, agentenbasierte KI und Computer Vision einsetzen, werden – wenn sie es richtig machen – Erfolg haben und sich viel schneller weiterentwickeln als Unternehmen, die das nicht tun. Den meisten Unternehmen ist das jetzt klar. Das heißt, dass ihre IT- und OT-Abteilungen zusammenarbeiten müssen. Außerdem müssen die Sicherheits-, Compliance- und Geschäftsbereichsteams einbezogen werden. Und die Technologien, die wir bereitstellen, darunter die AI Factory, ermöglichen das. Alles ist so konzipiert, dass sich die IT- und OT-Abteilungen zusammensetzen und das Konzept ausarbeiten – die schon erwähnten Blueprints: Software, Betriebssystem, Integrationen – und das alles im Vorfeld entwickeln, damit auf den Endgeräten von Anfang an alles vorinstalliert ist. Zero-Touch-Bereitstellung. Das ist sehr wichtig, muss aber alle Ebenen vom CIO bis zu Mitarbeitenden im Werk wie AutomatisierungstechnikerInnen abdecken.

Corey Noles: Okay. Noch eine letzte Frage, bevor wir zum Ende kommen. Werfen wir einen Blick in die Kristallkugel. Wenn wir in die Zukunft blicken, wohin entwickelt sich Enterprise Computer Vision deiner Meinung nach in den nächsten Jahren?

Jason Nassar: Im Moment machen wir riesige Fortschritte. Was Computer Vision noch vor sechs Monaten war, hat sich in der kurzen Zeit drastisch verändert. Die gesamte Software entwickelt sich so schnell wie nie zuvor, denn obwohl Menschen noch mitwirken, wird die Software tatsächlich von der KI entwickelt. Und das ändert alles. Außerdem fügen wir eine agentenbasierte KI hinzu, die direkt in die VLMs und maschinelles Lernen integriert ist. Aus dieser Sicht legen wir einen Gang zu. Wir können jetzt Fragen zu den Geschehnissen stellen. Wenn ich viel weiter vorausdenke, werden wir an einen Punkt kommen, an dem der Mensch nicht mehr in den Prozess eingebunden werden muss. Computer Vision wird sich selbst korrigieren. Sie wird erkennen, wo Software korrigiert werden muss. Vielleicht gibt es noch einen Menschen, der allem zustimmen muss, vielleicht auch nicht. Dahin kommen wir, je näher wir AGI kommen. Und das passiert. Wir kommen AGI immer näher.

Corey Noles: Absolut. Undenkbar vor fünf Jahren. Es ist unglaublich. Ja. Jason, vielen Dank, dass du heute bei uns warst. Wo kann sich unser Publikum informieren, um mehr über deine Arbeit, Computer Vision und alle Angebote von Dell und NVIDIA zu erfahren?

Jason Nassar: Schauen Sie auf Dell.com vorbei und informieren Sie sich über Dell AI Factory with NVIDIA, um mehr zu erfahren. Hier gibt es auch Informationen zu DDPC, Dell Distributed Private Cloud, und Dell Automation Platform. Sie können sich auch gerne an mich wenden. Sie finden mich auf LinkedIn unter dem Namen Jason Nassar. Ich kann Ihnen bei allen Anliegen helfen – mit fachlicher Beratung direkt von Dell, damit wir die richtige Lösung für Sie finden.

Corey Noles: Schön. Enterprise Computer Vision entwickelt sich weiter, genau wie das, was Unternehmen beim Übergang von Experimenten zu einer umfangreichen Bereitstellung bedenken müssen. Ist Ihr Unternehmen bereit? Weitere Nachrichten, Analysen, Einkaufsratgeber und Experteninterviews zu Unternehmenstechnologien finden Sie unter eWeek.com. Kontaktieren Sie eWeek außerdem über LinkedIn, Facebook und X. Vielen Dank, dass Sie bei eSpeaks zugehört haben, und bis zum nächsten Mal.

Jason Nassar: Vielen Dank. Interessant.