Nach der Pilotphase: Was es wirklich braucht, um KI in die Produktion zu überführen – mit Beth Williams von Dell

Corey Noles: Willkommen zur „eSpeaks for me“-Woche. Ich bin Corey Knowles. Zum jetzigen Zeitpunkt benötigen die meisten Unternehmen keine weitere praktische Demonstration, dass KI Besonderes leisten kann. Die Frage ist eher: Was passiert nach der Demo? Vom erfolgreichen Pilotprojekt zur KI zu gelangen, die zuverlässig in verschiedenen Unternehmensbereichen eingesetzt werden kann – d. h. in Bezug auf Herausforderungen bei Daten, Infrastruktur, Security, Governance, Kosten und sogar bezüglich der Verantwortung für Entscheidungen und Maßnahmen, die diese Systeme treffen bzw. ergreifen.

Bei der Analyse dieses Übergangs steht mir heute Beth Williams von Dell Technologies zur Seite. Beth, danke, dass du heute da bist. Hallo, Corey.

Beth Williams: Vielen Dank für die Einladung.

Corey Noles: Sehr gut. Schön, dich dabei zu haben. Wir sind quasi an einem Punkt angelangt, an dem es überall KI-Pilotprojekte gibt, aber warum ist es für viele Unternehmen immer noch so schwierig, von einem vielversprechenden Pilotprojekt zu einer echter Produktionsumgebung zu wechseln?

Beth Williams: Ja, wir sehen das bei unseren Kunden sehr häufig, eine Menge stockender Pilotprojekte, Leute, die einfach in dieser Phase verharren, und ich denke, es gibt viele verschiedene Gründe dafür. Aber einer der Hauptgründe ist: Wenn sich die Menschen auf Pilotprojekte konzentrieren oder auf Demos, dann ist das eigentlich nur ein Versuch, die Technologie zum Laufen zu bringen, nicht wahr?

Ja. Unter Umständen haben sie irgendwo ihre eigene kleine Umgebung. Vielleicht haben sie so einen netten kleinen GP10 oder so. Das ist keine skalierbare Umgebung. Wahrscheinlich haben Sie die Daten persönlich ausgewählt, oder? Ja. Also haben sie die Daten kuratiert, alles selbst gefunden und eingespeist, um es technisch zum Laufen zu bringen; und wahrscheinlich haben sie auch die Nutzer sorgfältig ausgewählt, falls sie sich gegenüber begrenzten Nutzern öffnen.

Tatsächlich befinden wir uns jetzt mit einem unserer Pilotprojekte in dieser Phase, in der wir gerade buchstäblich eine Teilmenge von Nutzern ausgewählt haben, um damit herumzuspielen. Das ist für ein Pilotprojekt alles fantastisch, aber sobald man in die Produktion geht, ist es eine ganz andere Sache oder? Ja. Also, zunächst einmal wird man wohl etwas mehr als einen Laptop brauchen, um es auszuführen.

Ja. Die Plattform, auf der man diese Dinge laufen lässt, spielt eine große Rolle. Und viele unserer Kunden haben noch keine Plattform festgelegt, auf der es laufen kann, außer vielleicht in der Public Cloud. Mhm. Und die Daten werden dann zu einem Teil dieser Gleichung. Wir haben darüber gesprochen, dass man bei vielen Pilotprojekten die Daten gezielt auswählt, sie kuratiert und technisch zum Laufen bringt, aber wenn man beginnt, in die Produktion zu gehen, will man eigentlich automatisierte Daten, oder?

Ja, man will Daten, die verfügbar sind, sobald man sie benötigt, und denen man vertraut. Und viele Daten auf Kundenseite sind einfach noch nicht bereit, oder? Es ist daher eine Kombination aus vielen verschiedenen Dingen. Wenn man dann Dinge wie „agentisch“ hinzufügt – und agentische Workflows sind etwas, wozu gerade sehr viele Pilotprojekte laufen –, weil sie so leistungsfähig sind, dann ist auch die Autonomie sehr verlockend.

Sobald man in diesen Bereich eintaucht, ist man bei dem wirklich interessanten Thema Sicherheit, nicht wahr? Du hast wahrscheinlich in letzter Zeit ziemlich viel über Agenten gehört – Oh, ja … es ist geradezu verrückt, oder? Ja, schon. Also, ja. Das ist es. Ja, schon. Ja. Sie begeben sich auf kleine Foren und unterhalten sich miteinander darüber, wie man zum Beispiel aus Sandboxes ausbricht und all so spaßige Dinge.

Also, darüber muss man sich jetzt wirklich Gedanken machen, oder? Das kann sicher nicht etwas sein, worüber man erst nachdenkt, wenn man bereits in Richtung Produktion geht. Man muss das von Beginn an integrieren. Ja. Es geht immer um Dinge wie Richtlinien, Berechtigungen, Sicherheit und um die Frage, wer die langfristige Unterstützung gewährleistet, nicht wahr?

Mhm. Wie gesagt: Viele Leute konzentrieren sich darauf , diese Technologie zum Laufen zu bringen, und dann stellt sich die Frage: Wer ist für den Support zuständig, wenn es in Richtung Produktion geht? Nicht wahr? Ja. Wer wird dafür verantwortlich sein, ob es sich richtig verhält oder nicht? Wie wird das überwacht? Wie kann man Dinge rückgängig machen etc.? All diese Fragen sind ziemlich schwer zu beantworten, es sei denn, man hat das Ganze schon einmal gemacht.

Natürlich haben wir das bereits getan, daher sind wir in der Lage zu helfen. Oder man hat bereits eine Plattform, auf die man es übertragen kann, zum Beispiel so etwas wie die KI-Fabrik von NVIDIA, nicht wahr? Es ist einfach- Ja … eine fertige Plattform, auf die man es aufsetzen kann.

Corey Noles: Wie gesagt, multifaktoriell; bei diesen Unternehmen gab es viel Druck, weitere KI-Anwendungs fälle zu finden, aber vielleicht muss nicht aus jedem Experiment ein Produktionssystem werden. Wie sollten Führungskräfte deiner Meinung nach bestimmen, welche Pilotprojekte tatsächlich eine Skalierung wert sind?

Beth Williams: Ich denke, viele Menschen gehen davon aus, dass man bei einem Pilotprojekt, das technisch funktioniert, immer zur Produktion übergehen sollte, oder? Pilotprojekte dienen dem Lernen, oder? Im Wesentlichen geht es darum zu klären, ob der Nutzer mit etwas zurechtkommen, ob es technisch funktioniert. Und bei der KI ist sehr interessant, dass man Modelle verwendet, die möglicherweise halluzinieren.

Zum Teil versuche ich daher, meinen Kunden zu vermitteln, damit sie es intern wissen, dass man bei einem Pilotversuch wirklich emotional unbeteiligt bleiben muss, was nach diesem Pilotprojekt als Nächstes kommt, nicht wahr? Ja. Man muss also fragen: „Was haben wir gelernt? Können wir dies in die Produktion überführen, oder sollten wir es vielleicht noch einmal hinterfragen.

Oder vielleicht sagen wir im Sinne eines Fail-Fast-Modells einfach: „Das ist nicht für KI geeignet“, nicht wahr? Wir brauchen - Ja … etwas, das zu 100 % vertrauenswürdig ist, und das ist es nicht, daher hören wir vielleicht besser auf und überdenken das Ganze nochmal. Also – Ja … bei vielem geht es darum, sehr emotionslos zu sein, was die Frage betrifft: Was erreicht man mit den Pilotprojekten?

Aber auch um die Frage: Welche KPIs schaut man sich bei der Durchführung des Pilotprojekts an? Also, um es nochmalszu sagen: Was wir intern machen und wobei wir unseren Kunden ebenfalls helfen, ist das, wir die Wertnachweisphase für einen Pilotversuch nennen. Lasst uns festlegen, welche KPIs wichtig sind. Lasst uns diese Dinge während des Pilotprojekts nachweisen, also nicht nur die Technologie, sondern, dass es das Geschäftsergebnis liefert, das man sich wünscht.

Ist das - Ja … Umsatz, oder vielleicht Kosteneinsparungen, oder geht es mehr um Leistung? Aber was genau ist das Ziel? Das sollte man während des Pilotprojkets messen. Auch sollte man sich bewusst sein, dass man dies Werte ebenfalls in der Produktion weiter erfassen sollte, oder? Das sind also das keine Einzelfälle. Ganz genau. Bleibt das ebenfalls gewährleistet?

Eines der anderen Dinge, die wir bei Dell gemacht haben – denn, übrigens, Anwendungsfälle sind ja nicht das Problem, oder? Anwendungsfälle sind definitiv nicht das Problem. Es gibt grundsätzlich hunderte und hunderte und hunderte von potenziellen Anwendungsfällen. Ja. Da stimme ich zu. Wir hatten vor ein paar Jahren tatsächlich in etwa über 800 Anwendungsfälle, als wir begonnen haben, und alle haben angefangen, kleine Pilotprojekte durchzuführen, und wir haben gesagt: „Leute, wir müssen das wirklich stark reduzieren.

Wir müssen uns anschauen, was für uns wirklich den Unterschied macht“, ja? Ja. „Was sind denn die wirklich wichtigen Anwendungs fälle?“ Und wir haben uns angeschaut, was unser Geschäft ausmacht, was wir als Dell machen, und wir haben uns auf drei oder vier Anwendungsfälle verständigt. Das heißt, drei oder vier Anwendungs fälle, von denen wir wissen, dass sie Dell ausmachen.

Es wurden dann sämtliche KPIs vereinbart, und wir sind dann ebenfalls alle Daten in puncto Bereitschaft durchgegangen. Es ist schön und gut, zu sagen: „Diese Anwendungsfälle werden etwas bewegen“, aber wenn es ewig dauert, die Daten für diese Anwendungsfälle vorzubereiten – Ja … nochmals, das ist einer dieser Entscheidungspunkte. Man denkt: „Na, vielleicht ist das nicht ideal für das erste Pilotprojekt“, oder?

Also, nochmals – Ja … das ist es, was wir intern gemacht haben. Wir haben die Anwendungsfälle priorisiert, die wir in die Produktion bringen wollten, haben sichergestellt, dass wir wussten, welche der Daten wir vorbereiten mussten, auch dafür, und wir haben uns auf diese Produktionsbereitstellung vorbereitet. Und dann haben wir diese KPIs im weiteren Verlauf überwacht.

Corey Noles: Ich bin froh, dass du Daten erwähnt hast. Man hört immer wieder, wie KI-Strategien letztlich Datenstrategien sind. Sobald ein Unternehmen es mit Produktions-KI ernst meint, stellt sich die Frage, was Datenbereitschaft praktisch bedeutet?

Beth Williams: Darüber möchte niemand wirklich reden, oder? Also, tja - Sehr wahr … denn es ist nicht der der lustige Teil, oder? Also ist geht nicht darum, dass ich einfach diesen agentischen Workflow habe und dies und das mache und sage: „Schaut mal, das ist toll.“ Es macht irgendwie keinen Spaß - Ja … es sei denn, man kennt sich aus im Bereich Daten. Wir haben sogar eine Bereitschaftsbewertung für Daten.

Wir tun das im Rahmen unserer eigenen Arbeit, und wir tun es auch für Kunden. Und was wir als Erstes sagen, ist: „Schauen Sie sich nicht alle Ihre Daten an“, nicht wahr? Ja. Denn das ist einfach … Das ist einfach überwältigend, oder? Also, wenn wir über Datenbereitschaft sprechen, sollte man über diese priorisierten Anwendungsfälle sprechen, und dann sieht man wahrscheinlich, dass es nur eine begrenzte Anzahl von Datenquellen gibt, die man einbeziehen muss, oder?

Ja. Also, sollte man sich einfach auf die Bereitschaft in diesem Bereich konzentrieren, ja? Wo sind diese Daten? Kannst du sie finden? Sind sie auffindbar? Zweitens, und das ist wirklich wichtig, wenn man anfängt, sich mit dem agentischer Raum zu beschäftigen: Hat man die passenden Berechtigungen dafür, ja? Denn – nochmals , man muss wirklich - Ja … vorsichtig sein mit autonomen Agenten, die auf Daten zugreifen, auf die sie nicht zugreifen sollten.

Und dann ist zu überlegen: Können wir es zurückverfolgen? Können wir es an den Anfangspunkt zurückbringen? Ist die Herkunft der Daten klar? Haben wir so etwas wie ein Datenprodukt geschaffen? Und darüber sprechen wir sehr oft, nicht wahr? Datenprodukte. Daten wie Produkte behandeln Aber das ist im Wesentlichen - Ja … die Sache. Verfügen wir über die passenden Berechtigungen dafür?

Können wir die Herkunft darstellen? Ist es für den richtigen Anwendungsfall? Besitzt es jemand? Unterliegt es bestimmten Regeln? Und wirklich wichtig ist ebenfalls, ob es ein Lebenszyklusmanagement dafür gibt, nicht wahr? Wenn man also in die Welt der Daten in Form eines Produkts einsteigt, gibt man wirklich die Verantwortung an diese Datenproduktmanager ab, um sicherzustellen, dass sie nicht nur Daten zeitnah bereitstellen, sondern sie auch dafür zuständig sind, dass die Daten richtig und korrekt sind und Regeln unterliegen - Ja und mit Berechtigungen und Richtlinien versehen sind.

Und bis man nicht in dieses Modell einsteigt, wird es sehr schwierig, zu skalieren, weil man wieder in diesen kuratierten Datensatz einsteigt, bei dem alles manuell ist; Daten-Pipelines sind nicht ausreichend. Der Übergang in diese Art von Datenproduktwelt ist ein wirklich bahnbrechender Unterschied. Das haben wir bei Dell ziemlich früh gemacht, zur Unterstützung bei vielen der Anwendungsfällen, die wir jetzt einführen.

Corey Noles: Viele Organisationen haben angefangen, mit KI zu experimentieren, indem sie einfach die für sie am einfachsten zugängliche Infrastruktur genutzt haben, also die, die sie hatten. Wenn die Nutzung dauerhaft wird und beginnt, sich über ein ganzes Unternehmen auszudehnen, wie muss sich dann das Gespräch über Infrastruktur ändern?

Beth Williams: Also, du hast recht. Viele Pilotprojekte werden von Leuten tatsächlich auf den Systemen durchgeführt, zu denen sie Zugang haben, nicht wahr? Was auch ihr eigenes sein kann – Ja. Ich meine, ich habe mich auch schuldig gemacht und es auf meinem eigenen Laptop ausgeführt, weißt du? Es ist - Ja. Es könnte alles Mögliche sein, oder? Es könnte eine ausgeliehene Ressource sein, das ist wirklich beliebig.

Also, das Ziel besteht darin, es zum Laufen zu bringen. Sobald man an diesem Punkt ist, wo man sagt: „Okay, jetzt muss ich das in die Produktion bringen“, ist die Infrastruktur, auf der das Pilotprojekt läuft, höchstwahrscheinlich nicht ausreichend, oder? Es ist sehr unwahrscheinlich - Ja … dass es skalierbar ist. Also musst du anfangen darüber nachzudenken: „Okay, was mache ich für die Skalierbarkeit aus der Infrastrukturperspektive? Es gibt ein paar verschiedene Möglichkeiten, oder?

Also haben wir angefangen zu sagen: „Okay, alle müssen große KI-Fabriken kaufen“, aber das waren sehr, sehr große Investition für die Kunden, nicht wahr? Vor allem, wenn sie – Ja … nur einen Anwendungsfall haben, oder? Sobald man mehrere Anwendungs fälle hat, kann man die Infrastrukturg-Story erkennen und die KI-Fabrik -Geschichte macht im großen Maßstab total Sinn.

Also haben wir bei Dell das Ganze ein bisschen zusammengestrichen und gesagt: „Nun ja, eigentlich lassen sich folgende Erkenntnisse aus der Branche ableiten, nämlich: Die Menschen neigen dazu, klein anzufangen. Also, alles – Ja … was du vielleicht tun musst, ist, sicherstellen, dass du einen guten GPU-KI-Server hast, zum Beispiel, mit dem richtigen Software-Stack.

Das könnte für den Anfang erst einmal ausreichen. Vielleicht fängt man erst einmal mit Inferenz im kleinen Maßstab an. Und dann kann man hochskalieren. Man kann dann diese modularen Infrastruktur teile hinzufügen, sodass man vielleicht - Ja auf Enterprise-Inferenz-Niveau kommt und dann sogar zu verteilter Inferenz durch ständiges Hinzufügen von Layern, diesen Modulen, sozusagen.

Also, klein anzufangen, ist immer noch sehr wichtig. Die Kluft zwischen einer Pilotinfrastruktur und einer großen verteilten KI-Fabrik ist groß, daher ist es eine wirklich wichtige Strategie, Zwischenetappen in Form von Projekten zu haben, die man bereits umsetzt. Was man auch ansprechen sollte, ist, dass nicht unbedingt immer alles vor Ort sein wird. Ja ... Es geht also um eine Art Hybridansatz.

Die meisten Kunden wollen das, oder? Also - Ja … wenn man es aus der Sicht eines KI-Workloads betrachtet, und man vor allem über Agenten spricht, wird man verschiedene Teile dieser Workflows sehen, die potenziell nicht vor Ort erfolgen müssen. Sie könnten unter Umständen auch in der Cloud stattfinden. Vielleicht braucht es eine andere Art von Skalierbarkeit, und es wird bestimmte Dinge geben, die man wirklich vor Ort behalten möchte, oder?

Wahrscheinlich wegen der Daten, oder? Und der Sicherheit. Eine der Sachen, die wir tun, ist, dass wir eine sogenannte Workload- Platzierungsstrategie erstellen, basierend auf den Anwendungsfällen, die wir mit Kunden umsetzen. Mhm. Und dann überlegen wir: „Okay, basierend auf der Workload-Platzierung, was benötigen wir in Bezug auf Plattformen?“ Genau. Dieser spezielle Anwendungsfall muss vor Ort bleiben.

Okay, in Ordnung. KI-Fabrik. Dieser spezielle Teil des Anwendungsfalls könnte potenziell auf einem öffentlichen Cloud-Modell ausgeführt werden. Oder? Das ist in Ordnung, ja. Okay? Also, um diese Art von Strategie geht es. Wir sprechen also über Hybrid modelle, doch letztendlich ist es ein Entscheidungsprozess auf Basis der KI-Workloads der bestimmt, wie Ihre Infrastruktur aussehen muss, was man in der Public Cloud nutzen kann, was man vor Ort behalten sollte und wie man zum schnellsten Ergebnis gelangt.

Corey Noles: Das macht Sinn. Und das führt uns wirklich zum springenden Punkt: zu den Kosten. KI kann wirklich günstig erscheinen, wenn man einen kleinen Machbarkeitsnachweis durchführt, aber in großem Maßstab, wenn man über Rechenleistung, Speicher, Inferenz, Netzwerk und Datenbewegung spricht, dann summiert sich das schnell und führt zu großen Beträgen. Wie sollten Unternehmen anders über die Wirtschaftlichkeit von KI denken, wenn sie zu einem operativen Workload wird?

Beth Williams: Ja. Ich denke, wir haben alle schon mal den Begriff Tokenomics gehört, oder? Ja. Es ist wahrscheinlich einer der Begriffe, die derzeit am meisten überstrapaziert werden. Und wenn die Leute an Tokenomics denken, denken sie, „Okay, es geht um Token- Burn oder Token-Kosten“, was quasi nur die Modellkosten beschreibt, wenn man so will. Ja. Und das ist eben nur ein Teil der Gleichung, nicht wahr?

Es ist ein Teil der Gleichung, wenn es um die Betriebskosten in der Produktion geht, sofern man eine Art tokenbasiertes System verwendet. Aber das ist nur ein Aspekt. Man muss - Ja … irgendwie eine Gesamtkostenbetrachtung aufstellen, nicht wahr? Mhm. Das schließt den hybriden Ansatz mit ein, der die Überlegung umfasst: Vielleicht gibt es Token-Burn-Kosten für diesen speziellen Workload, der in der Cloud ausgeführt wird. Schauen wir uns aber auch an, was die Kosten für den Betrieb vor Ort wären.

Auch das muss Teil der Gleichung sein. Ja. Wir ziehen also Dinge wie Rechenleistung, Speicher und Netzwerke in Betracht. Wir schauen uns Datenbewegungen an. Wir betrachten Kosten, die mit Eingang und Ausgang zu tun haben. Aber wir betrachten auch Softwarekosten, Strom, Kühlung. Jedes Mal, wenn man eine Abfrage auf einem Modell vor Ort ausführt, zieht es immer noch Strom, oder?

Ja. Das ist wahr. Das ist also ein Teil der Gleichung. Wir müssen daher gewissermaßen an Stückkosten für die Durchführung von Arbeiten denken, an wertvolle Aufgaben – End-to-End –, und wie das in der Praxis aussieht, je nachdem, wo es ausgeführt wird. Es ist eine wirklich komplizierte Berechnung, die auch fortlaufend erfolgt, weil sich die Dinge ja ändern, nicht wahr?

Also wird nicht jedes Modell künftig denselben Token-Kosten entsprechen. Also muss man sozusagen über diese fortlaufenden, ich sage mal, umfassenden Tokenomik-Aspekte sprechen, nicht nur über Token- Burn, sondern über alles in diesem Zusammenhang. Man braucht zukünftig das Monitoring, damit man sich anpassen und ändern und die Dinge an den optimalsten Ort verschieben kann, an dem sie sein müssen, je nachdem, ob sie Hochfrequenzlatenz benötigen oder nicht, und abhängig davon, wofür man den Anwendungsfall verwenden will. Und dass man eine Art automatisierte Workloadplatzierung basierend auf diesen Arten von Kostenanreizen hat.

Corey Noles: Das ist wirklich vernünftig, und ich denke das ist etwas, das die Leute gelegentlich vergessen. Dass die alten Kosten auch noch da sind. Es geht nicht nur um Tokens.

Beth Williams: Ganz genau. Ich denke, das ist der Knackpunkt, oder? Also, wir haben jahrelang über Cloud und Public Cloud gesprochen, nicht wahr? Also handelt es sich im Grunde genommen um eine KI-Cloud, korrekt? Also - ja ... das ist sehr ähnlich. Die TCO-Berechnungen sind daher bis zu einem bestimmten Punkt sehr ähnlich, und dann gibt es da noch diese zusätzliche Nuance obendrauf, ich sage jetzt mal … die Nutzung von KI.

Was muss ich sonst noch einkalkulieren? Was muss ich sonst noch berücksichtigen, wenn ich mir diese Art von Thematik bezüglich einer optimalen wirtschaftlichen Strategie für den Betrieb solcher KI-Workloads anschaue? Du hast recht, es gibt keinen großen Unterschied zwischen dem, was wir in Bezug auf den Vergleich von öffentlicher Cloud und privater Cloud besprochen haben und jetzt bezüglich von KI besprechen.

Es gibt nur diese feinen- Ja … Nuancen.

Corey Noles: Ganz genau. Ganz genau. Sobald KI in der Produktion ist, ist selbst das Modell nur noch ein Teil eines viel größeren Systems. Was muss man also über den Lebenszyklus hinweg überwachen und steuern, um sicherzustellen, dass die Anwendung weiterhin so funktioniert, wie es das Unternehmen sich wünscht?

Beth Williams: Wie wir gerade erwähnt haben, besteht diese Lösung aus Teilen, einschließlich der Plattform, für die wir bereits ziemlich gute Lösungen parat haben, was die Überwachung betrifft, oder? Ja. Also gibt es dort bereits einen Überwachungslayer, der Kunden im Unternehmensmaßstab protokolliert und überwacht, nicht wahr? Man sollte also zunächst sicherstellen, dass diese Dinge bereits eingerichtet sind.

Das sind die Grundregeln, nicht wahr? Der Mindest-Einsatz, sozusagen. Danach muss man darüber nachdenken, was die neuen Dinge sind, die man bei KI bedenken muss, besonders, wenn man anfängt, über agentische KI zu sprechen. Also, dann muss man über das Modell an sich nachdenken, sich vielleicht Gedanken um das Modell herum machen. Wir müssen uns das anschauen und eine Möglichkeit finden, das zu überwachen.

Wenn man sich zudem die Daten anschaut, also das ist etwas … was die Leute oft vergessen. Aber das Thema Datenverschiebung ist wirklich wichtig, also schauen wir uns die Daten an. Auch die Einführung der Anwendungsfalllösung, die wir implementiert haben, sollte man sich anschauen. Denn, wie gesagt, so viele Leute wollen die Dinge unbedingt in die Produktion bringen, ohne dass sie wirklich wissen, ob die Leute sie benutzen. Und dann erhalten sie die tatsächliche Kostenrendite – oder was auch immer es sein mag –, den Umsatz, was auch immer der KPI in dem zuvor erwähnten Pilotprojekt war, und das dann weiterhin überwachen.

Ja. Es geht also nicht nur um die Überwachung im Hinblick darauf, ob sich der eigene Stack wie erwartet verhält. Benimmt sich meine KI korrekt? Benimmt sich mein Agent angemessen? Stelle ich sicher, dass ich zum Beispiel keine Angriffsvektoren auf meinem Modell habe? Aber auch: Erreiche ich tatsächlich die Ziele, die ich mir in Bezug auf KPIs gesetzt habe? Das ist ebenfalls ein wirklich großer Teil des Überwachungsaspekts, den Menschen oft übersehen.

Sie sorgen dafür, dass alles in der Produktion läuft, aber vielleicht erzielen sie nicht den erforderlichen Wert. Vielleicht ist der ROI nicht das, was man bräuchte. Also nochmals: Indem man die laufenden Kosten und auch die laufende Kapitalrendite im Blick behält, ist das die technische - Ja … Überwachung.

Corey Noles: Durch die Produktions-KI verändert sich, wie ich denke, auch der Einsatz in Bezug auf Governance. Wenn diese Systeme beginnen, Entscheidungen zu beeinflussen und mit Unternehmensdaten zu interagieren oder Maßnahmen durch andere Agenten ergreifen, wo ist dann letztlich die Verantwortlichkeit verortet?

Beth Williams: Ja, man kann nicht sagen: „Na ja, das Modell hat mir gesagt, das zu tun“, oder? Weißt du. Nein, das funktioniert so nicht. Manche Leute versuchen es. Manche Leute versuchen es, aber das wird einfach nicht funktionieren. Das lässt sich also gewissermaßen auf verschiedene Bereiche anwenden, nicht wahr? Also, wenn man KI einsetzt, um etwas bei der Arbeit zu erledigen, und man ist dabei der letzte Mensch in dem Loop, und man veranlasst etwas mit dieser Aktion, dann trägt man die reale Verantwortung, oder etwa nicht?

Also – ja … das hämmern wir uns die ganze Zeit über ein. Wir haben intern viele großartige KI-Tools, und wir hören die ganze Zeit: „Hey, hör zu, wenn du das benutzt und damit das machst, dann bist du verantwortlich für diese abschließende Aktion. Für den gesamten Vorlauf, das ist deine Entscheidung." Also ist eine Person in dieser Schleife der Nutzer, ja? Aber die andere Person in dieser Schleife, würde ich sagen, besonders in autonomeren Fällen mit Agenten, ist der Geschäftsprozessverantwortliche.

Der Geschäftsprozess, der sozusagen automatisiert und mit KI und agentischer KI optimiert wird, das sind diejenigen, die gewissermaßen für diesen Geschäftsprozess verantwortlich sind, was die gesamte KI umfasst, die verwendet wird. Also – Ja … unterhalb von diesem Geschäftsprozessverantwortlichen hat man eine Anzahl verschiedener anderer Eigentümer, nicht wahr?

Wir haben über Datenprodukte gesprochen. Wenn man sich in dieser Welt von Datenprodukten befindet, ist der Datenprodukteigentümer für die Daten verantwortlich, die Teil dieser Lösung sind. Man könnte einen Plattformbesitzer haben, wie zum Beispiel eine KI-Fabrik mit einem NVIDIA-Plattformbesitzer. Diese werden dafür verantwortlich sein, sicherzustellen, dass die Plattform sich korrekt verhält.

Man kann aber auch einen Modellbesitzer haben, wenn man seine eigenen Modelle trainiert. Also gibt es unterhalb dieses übergeordneten Geschäftsprozessveranwortlichen auch eine ganze Reihe von Schlüsselakteuren, die sicherstellen, dass sich ihre - Ja … Komponentenbauteile alle an die Regeln halten, die wir festgeschrieben haben, und dass sie die von uns als nötig erachteten SLAs befolgen.

Also gibt es viele verschiedene Akteure, aber letztendlich ist der oder die Nutzerin davon, Sarah, die letzte Person in diesem Workflow - Ja … da sollte man sicherstellen, dass alles stimmt, bevor man auf „Start“ drückt. Aber dann ist der Geschäftsprozess verantwortliche, dessen Geschäftsprozess man eigentlich mit der KI automatisiert – das sind die zwei Hauptverantwortungsebenen, würde ich sagen.

Corey Noles: Das ist ein wirklich guter Ansatz. Ich denke, man muss verstehen dass man hier diese Menschen und diese Schlüsselelemente hat, bei denen dieser Teil man selbst ist. Man sollte dafür sorgen, das das funktioniert, und sicherstellen, dass es korrekt funktioniert und nicht verrückt spielt und durchdreht und Websites angreift oder so etwas. Das sollte man - Genau.

Man sollte diese Art von Fokus besitzen. Wie viel des erfolgreichen Einsatzes von KI in der Produktion endet damit, dass es zum Technologieproblem wird, und wie viel davon hältst du für ein organisatorisches Problem? Und sobald man über dieses isolierte Innovationsteam hinausgeht, wer wird dann zum Eigentümer?

Beth Williams: Wir sagen immer, die Technologie ist der einfache Teil, oder? Es ist schon lustig, weil es genau der Teil ist, auf den wir uns die ganze Zeit fokussieren, oder? Wir sprechen die ganze Zeit davon. Wir sprechen über die technische Leistungsfähigkeit unserer Pilotprojekte und so weiter. Ehrlich gesagt ist der schwierigste Teil wirklich die organisatorische Veränderung.

Ja. Das war schon immer so. Bei jeder Art von Transformationsprojekt, oder? Es geht nicht um die technologische Transformation, sondern um die personelle Transformation. Es ist der organisatorische Wandel, der zum Tragen kommen muss. Das ist die größte Hürde die man bei diesen Anwendungsfällen überkommen muss. Wir haben das schon immer gesehen, aber es ist jetzt etwas verschärft, auch durch die Autonomie der KI – Ja, denn die Dinge verändern sich in diesem Bereich ziemlich dramatisch, oder?

Organisationen verändern sich also viel schneller und viel schneller als früher. Also, worüber wir sprechen, das betrifft, dass man einen Verantwortlichen haben muss, oder? Das ist also das Wichtigste, oder? Wenn man also darüber nachdenkt, Dinge in die Produktion zu überführen, dann muss man sich unter dem Aspekt der organisatorischen Bereitschaft unter anderem die Frage stellen: Wer wird der Eigentümer sein?

Wer wird es in der Produktion finanzieren? Also: Woher kommt das Geld? Wer wird die Änderungen genehmigen? Also, wenn ich etwas ändern muss, an wen wende ich mich dann? Wer genehmigt das? Wer sorgt für die kontinueirliche Wertermittlung, und wer entscheidet, ob es einen Wert hat oder nicht? Im Wesentlichen geht es um die Frage: Wer ist verantwortlich, wenn die Dinge aus dem Ruder laufen?

Alle Dinge, bei denen wir uns in Bezug auf Software sicher sind, sind jetzt bei KI-Software noch wichtiger, oder? Ja. Also: Betriebsmodell, Business Sponsor, Produktverantwortliche, Daten- und Plattformverantwortung – das sind Dinge, über die wir schon früher gesprochen haben. Sicherheit und Risiken müssen dabei Schlüssel aspekte sein, oder? Auf jeden Fall. Man benötigen dabei ordnungsgemäße Governance.

Man benötig einen Plan zur Einführung. Man muss erkennen, dass bei der Einführung tatsächlich etwas passiert. Beim organisatorischen Wandel geht es nicht nur darum, wer die Lösung am Laufen hält. Es geht auch darum, wie ich Menschen dazu ermutige, diese Lösung zu nutzen. Das ist eine große Aufgabe, oder? Denn wenn man über KI nachdenkt und über einige der Ängste rund um KI, dann stellt man fest, dass Menschen manchmal ein wenig vorsichtig sind und sich fragen: Wenn ich anfange, das für meinen Job zu nutzen, vielleicht werde ich dann dadurch ersetzt.

Ja. Ein Teil des organisatorischen Wandels besteht also darin, den Menschen verständlich zu machen, dass KI dazu da ist, sie schneller, besser und effizienter zu machen und um den ganzen langweiligen Kram rauszufiltern, nicht wahr? Ja. Also ein organisatorischer Wandel, und den mussten wir auch intern vollziehen. Wir haben also eine Reihe verschiedener Programme durchlaufen, um die KI-Einführung intern zu unterstützen.

Also gibt es nicht nur Teams - Ja … die sicherstellen, dass die Lösung selbst einwandfrei funktioniert, sondern es gibt ein ganzes Team von Leuten, das dafür sorgt, dass Mitarbeiter die Lösung richtig einsetzen - Ja … und tatsächlich so nutzen, dass ihre Arbeit einfacher wird. Es gibt also viele verschiedene Bereiche, wobei vieles davon sehr ähnlich wie bei den meisten Transformationsprozessen ist, aber es gibt auch, wie gesagt, einige Nuancen bei der KI, insbesondere im Hinblick auf die Einführung.

Corey Noles: Wenn wir also ein paar Jahre in die Zukunft schauen, wodurch, denkst du, werden sich Unternehmen, die die KI wirklich operationalisiert haben, von Unternehmen abheben, die weiterhin eine Reihe zusammenhangloser Experimente betreiben? Ja. Ja, wie wird das konkret aussehen? Woran kann ich erkennen, ob Firmen das Level erreicht haben oder nicht?

Beth Williams: Weißt du, wenn wir auf uns selbst schauen, denke ich, dass wir es so gut wie erreicht haben. Wir haben ziemlich viele gute produktionsreife Anwendungsfälle, und wir haben einen guten Prozess dafür in Bezug auf Governance. Eines, was wir früh gemacht haben, war, sicherzustellen, dass wir zum Beispiel nicht nur KI-Pilotprojekte hatten, sondern ein KI-Portfolio.

Ja. Lass uns das mal anschauen, als ein Set von Dienstleistungen, die wir anbieten können, entweder intern, um effizienter und produktiver zu sein, oder als Angebote an unsere Kunden. Das sind alles Dienstleistungen. Das sind jetzt alles Produkte, oder? Behandle sie so, wie sie sind: als Dienstleistungen und Produkte. Die anderen Anzeichen der Reife – sofern dies ein Portfolio ist, nicht eine Vielzahl von Pilotprojekten, die irgendwo laufen – ist der Aspekt der Wiederverwendbarkeit, nicht wahr?

Man kann erkennen, dass jemand operationalisiert, wenn er in der Lage ist, ein Pilotprojekt, das alle seine KPIs erfüllt hat, im Handumdrehen in die Produktion zu übertragen, denn als Grundlage gibt es all diese wiederverwendbaren Sac hen, die man noch einmal verwenden kann. Ja. Ich habe die wiederverwendbaren Datenprodukte, nicht wahr? Wenn ich zum Beispiel früher ein Datenprodukt erstellt habe, das von einem anderen Anwendungsfall genutzt wurde, kann ich dieses Datenprodukt jetzt für diesen speziellen Anwendungsfall wiederverwenden.

Die zugrunde liegende Fabrik nennen wir die NVIDIA KI Fabrik, weil es eine Fabrik ist, nicht wahr? Das soll sie sein - Ja dass man einfach dran dreht und es dann herauskommt, oder? Es ist wirklich einfach, dies auf einer bestehenden Plattform zu implementieren, die bereits sicher ist und gesteuert wird; das ist ein weiterer wichtiger Teil davon – die Wiederholbarkeit.

Und nochmals: die Idee, dass man nicht nur Bereitstellungsklicks misst, sondern, ob dieses Ding die Rendite liefert, die es künftig bringen muss, sowie die fortlaufende Messung der KPIs, Leistungsmerkmale – Ja, all diese Dinge. Das ist eine hochfunktionale, operationalisierte KI-Umgebung.

Corey Noles: Vielen Dank, Beth, dass du heute bei uns bist. Bevor du gehst, noch eine Frage: Wo kann man mehr darüber erfahren, was Dell Technologies tut und was du tust im Bereich der Enterprise KI?

Beth Williams: Es gibt eine riesige Menge an Material auf dell.com. Ich empfehle Leuten, sich das unbedingt anzusehen. Und dort gibt es unzählige Verweise auf unterschiedliche andere Quellen. Man kann zum Beispiel zu meinem Bereich wechseln, dem Servicebereich. Man kann all die großartigen Services sehen, die wir anbieten, zum Beispiel Governance-Services, die AI Factory-Services, die Daten-Services.

Diese Dinge findet man ebenfalls dort. Man sollte also bei dell.com beginnen, mit einer tollen Auswahl an Informationen über unsere Produkte, unsere Services, unseren Ansatz, wie wir die Dinge gemacht haben, und das wird einen echt weiterbringen zu all dem, was einen interessiert.

Corey Noles: Sehr gut. Nochmals vielen Dank, Beth, dass du dir heute die Zeit genommen hast, mit uns zu sprechen.

Beth Williams: Vielen Dank.

Corey Noles: Und weitere Gespräche wie dieses hier finden sich auf eweek.com. Sie können auch einen Like hinterlassen und unsere Beiträge abonnieren, von wo auch immer Sie zuschauen – und folgen Sie eWeek auf LinkedIn, Facebook und X. Ich bin Corey Knowles. Danke fürs Zuschauen. Wir sehen uns beim nächsten Mal auf eSpeaks.