Was ist MLOps? Ein Überblick über Machine-Learning-Operations

Machine-Learning-Operations, besser bekannt als MLOps, ist ein strategischer Ansatz für die Entwicklung von Machine-Learning-Modellen. Ziel ist es, den Prozess und Lebenszyklus der Erstellung von Machine-Learning-Modellen zu standardisieren und wiederholbar zu machen.

Insbesondere da Machine-Learning-Modelle und ihre Fähigkeiten immer stärker mit den regulären Geschäftsabläufen verflochten sind, stellen immer mehr KI-/ML- und Technikteams ihre Betriebsprozesse auf einen MLOps-Ansatz um.

Sehen wir uns genauer an, was MLOps ist, wie es in der Praxis funktioniert und was Sie von Anfang an tun können, um Ihre MLOps-Strategie zu optimieren.

Was ist MLOps?

MLOps, kurz für Machine Learning Operations, umfasst eine vielfältige Sammlung von Best Practices, Prozessen, Betriebsstrategien und Tools. Sie konzentrieren sich auf die Schaffung eines Rahmens für konsistentere und skalierbare Entwicklungslebenszyklen von Machine-Learning-Modellen.

Die Idee dahinter ist, dass durch mehr Transparenz und Kontrolle über den Entwicklungslebenszyklus für mehr Teams – ergänzt um strukturiertere Standards dafür, wie diese Modelle im Laufe der Zeit bereitgestellt und überarbeitet werden – ein qualitativ hochwertigeres, skalierbares und wiederholbares Modell entsteht.

Im Kern soll MLOps eine gemeinschaftliche Anstrengung der verschiedenen technischen und operativen Teams sein, die an Machine-Learning-Modellen arbeiten. Daher werden MLOps-Best-Practices typischerweise von einem gemeinsamen Team aus folgenden Mitgliedern entwickelt:

• Data Scientists
• Machine-Learning-Ingenieure
• Mitglieder des IT-Teams
• DevOps-Ingenieure
• Führungskräfte aus verschiedenen Geschäftsbereichen und Branchen

Ziel ist es, einen Prozess zu schaffen, der für die Projekt-Workflows jedes Teams gut funktioniert und gleichzeitig mit den übergeordneten Budgets, Zielen und Best Practices der Organisation übereinstimmt.

MLOps ist nicht nur wegen des Fokus auf Standardisierung und Zusammenarbeit beliebter geworden, sondern auch aufgrund der großen Bandbreite an ML-Entwicklungsbereichen, die von den betrieblichen Best Practices abgedeckt werden können. Im Allgemeinen wird MLOps auf die Erstellung und das Design von Modellen, die Bereitstellung von Modellen, Datenverwaltung und -integration, Projektmanagement, die Wartung von Modellen und andere Bereiche im Zusammenhang mit der Verwaltung des ML-Modelllebenszyklus angewendet.

Um diese Bandbreite an Bereichen innerhalb der ML-Modellentwicklung abzudecken, setzt MLOps häufig auf Automatisierung und andere DevOps-Best-Practices. Dadurch lassen sich mühsame Aufgaben vermeiden, Projekt-Workflows standardisieren und funktionsfähige ML-Modelle schneller und skalierbarer bereitstellen.

Der Lebenszyklus einer MLOps-Bereitstellung

MLOps im Vergleich zu DevOps

MLOps und Development Operations (DevOps) sind beides Best-Practice-Frameworks, die sich auf einen optimierten, automatisierten und skalierbaren Entwicklungszyklus konzentrieren. DevOps ist jedoch die umfassendere Variante dieses Konzepts.

Während MLOps hauptsächlich auf Machine-Learning-Modelle sowie die Teams, Aufgaben und Best Practices angewendet wird, die zur Optimierung von ML-Modellen beitragen, umfasst DevOps eine Sammlung von Best Practices, die auf jedes Softwareentwicklungsprojekt und jeden Lebenszyklus im Bereich des IT-Betriebs angewendet werden können.

MLOps im Vergleich zu AIOps

Artificial Intelligence for IT Operations, kurz AIOps, bezieht sich auf die KI-gesteuerten Automatisierungen, die auf verschiedene IT-Betriebs- und DevOps-Projekte angewendet werden können.

Damit AIOps in Bereichen wie Datenanalyse und Ressourcenoptimierung nützliche Automatisierungen umsetzen kann, setzt der Ansatz auf eine Kombination aus DataOps und MLOps, um nutzbare Daten zu sammeln und aufzubereiten sowie nutzbare ML-Modelle zu entwickeln. Obwohl MLOps typischerweise als Teilbereich dessen gilt, was in einem AIOps-Framework geschieht, wird AIOps in vielen Fällen auch auf MLOps-Projekte angewendet, um die Analyse und Überwachung von ML-Modellen zu automatisieren.

Mehr dazu: 10 Best Practices für AIOps

MLOps im Vergleich zu LLMOps

Large-Language-Model Operations (LLMOps) ist ein aufstrebender Teilbereich von MLOps. Er konzentriert sich auf Machine-Learning-Best-Practices, Automatisierungen, Tools und Betriebsstandards für die Verwaltung der LLM-Entwicklung. Da immer mehr Organisationen mit generativen KI-Modellen arbeiten – sei es, dass sie eigene Modelle entwickeln oder Modelle von Drittanbietern feinabstimmen –, bietet LLMOps gezielte Anleitungen für die Entwicklung wiederholbarer und skalierbarer LLM-Iterationen.

Vor- und Nachteile von MLOps

Vorteile von MLOps

• Standardisierte, effiziente Lebenszyklen für die ML-Modellentwicklung: Wenn standardisierte team- und projektübergreifende Prozesse und Tools für die ML-Modellentwicklung vorhanden sind, kann Ihr Team sicherstellen, dass regelmäßig konsistente Modelle erstellt werden. Dadurch können auch der CI/CD-Zyklus (Continuous Integration / Continuous Development) und andere Schritte wie Tests und Überwachung effizienter werden, da alle auf demselben Stand sind.
• Zusammenarbeit und Entwicklung über Teamgrenzen hinweg: Da Standards und Best Practices für die Entwicklung team- und disziplinübergreifend dokumentiert und zusammengeführt wurden, fließen die Best Practices und Anwendungsfälle aller Beteiligten in Ihre Machine-Learning-Modelle ein. Außerdem können Sie sicherstellen, dass in isolierten Bereichen Ihres Unternehmens keine unnötige doppelte Arbeit anfällt.
• Hochwertigere ML-Modelle: ML-Modelle werden nicht nur durch teamübergreifende Best Practices besser, sondern in der Regel auch qualitativ hochwertiger, wenn MLOps eingesetzt wird, da MLOps auf reproduzierbare Ergebnisse in allen Phasen der Modellentwicklung ausgerichtet ist. Mit den richtigen MLOps-Tools und -Plänen können Unternehmen beispielsweise die Modell-Governance, die Leistungsüberwachung und die Qualität der Entwicklungsumgebung verbessern.
• Skalierbare Prozesse und Dokumentation: Die standardisierten Prozesse und die skalierbare Infrastruktur von MLOps ermöglichen es Unternehmen, ihre Abläufe für die ML-Modellentwicklung zu skalieren und mit größeren Datensätzen sowie komplexeren Modelltypen zu arbeiten. Versionskontrolle und Dokumentation sind beides wichtige Aspekte von MLOps. Sie stellen sicher, dass Nutzer ihren Fortschritt verfolgen und aus früheren Iterationen der ML-Modellentwicklung lernen, um künftig größere und bessere Modelle zu erstellen.
• Automatisierung: Ein großer Teil von MLOps besteht darin, mühsame, sich wiederholende Aufgaben zu automatisieren, die Ihr Team ausbremsen können. Automatisierung kann verhindern, dass Ihr Team unbeabsichtigt neue Fehler einführt und von standardisierten, regelkonformen Verfahren abweicht. Noch wichtiger ist vielleicht, dass die Automatisierung Ihrem Team Zeit verschaffen kann, sich auf strategischere Aufgaben der Modellentwicklung und -verwaltung zu konzentrieren.

Nachteile von MLOps

• Erfordert internes oder externes Fachwissen: Wenn Sie nicht bereits ein Team aus Entwicklern, Data Scientists und ML-Spezialisten beschäftigen, kann es schwierig sein, MLOps-Verfahren und -Tools zu entwickeln und einzuhalten, die zu Ihren Produktionszielen passen. Wenn Sie planen, solche Mitarbeiter bald einzustellen, kann es sich lohnen, mit der Festlegung eines MLOps-Prozesses zu warten, bis deren Einschätzung vorliegt.
• Kosten für MLOps-Infrastruktur, -Tools und -Ressourcen: Wenn Sie sich für eine MLOps-Strategie entscheiden, müssen Sie möglicherweise in neue Tools und Ressourcen für Datenintegration, Datenpipelines, Echtzeitüberwachung und -analyse und vieles mehr investieren. Zwar sind für viele MLOps-Tools kostenlose und kostengünstige Versionen verfügbar, doch der Umstieg auf MLOps kann dennoch äußerst teuer sein – insbesondere wenn man den Umfang und die Kosten der möglicherweise erforderlichen Rechenressourcen berücksichtigt.
• Vervielfachung von Nutzerfehlern durch Automatisierung: Automatisierung ist ein zweischneidiges Schwert, da sie Nutzerfehler je nach Einsatz entweder minimieren oder vervielfachen kann. Wenn Sie zu Beginn Ihres MLOps-Lebenszyklus und anschließend regelmäßig keine gründliche Datenqualitätsprüfung durchführen, ist es durchaus möglich, dass sich die Häufigkeit und Schwere eines kleinen Fehlers in Ihrem Datensatz erhöht.
• Etwas eingeschränkte Agilität: Es stimmt, dass ein wesentlicher Vorteil einer DevOps-basierten Strategie darin besteht, innerhalb einer agilen Methodik arbeiten zu können. In der Praxis gibt es jedoch einige Einschränkungen bei der Agilität von MLOps. Das Framework ist durchaus skalierbar, aber insofern weniger agil, als seine Regeln für Zusammenarbeit und Entwicklung den Wechsel von bewährten Projekten zu neueren Projektkonzepten erschweren können.
• Die Schwierigkeit der kontinuierlichen Datenverwaltung: Wenn ML-Modelle sowie ihre Trainingsdaten und Eingaben größer werden, kann es schwierig werden, die Qualität und Zuverlässigkeit all dieser Daten zu verwalten. Eine solche Datenflut kann die Erstellung hochwertiger Ergebnisse erschweren und es zudem deutlich schwieriger machen, sicherzustellen, dass alle Daten ethisch vertretbar und im Einklang mit den geltenden Datenschutzbestimmungen verwendet werden.

Führende MLOps-Tools und -Lösungen

Eine Reihe von End-to-End-Machine-Learning-Plattformen, Lösungen für Datenintegration und -verwaltung sowie Open-Source- und proprietären Tools unterstützt derzeit MLOps-Best-Practices und -Workflows. Abhängig von Ihrem aktuellen Toolportfolio und Fachwissen kann Ihr Team davon profitieren, mehr als eines der folgenden führenden MLOps-Tools und -Lösungen einzusetzen:

• MLflow: Eine Open-Source-Machine-Learning-Plattform mit zentraler Modellregistrierung sowie APIs, Integrationen und Tools für die Verwaltung des ML-Lebenszyklus. Mit Apache Spark lässt sich die Plattform auf die Verarbeitung großer Datenmengen skalieren.
• Amazon SageMaker: Eine vollständig verwaltete ML-Plattform von AWS mit verschiedenen Tools und Frameworks zur Erstellung, zum Training und zur Bereitstellung von ML-Modellen. Die Lösung ist für die Arbeit mit einer Reihe von Datenformaten, Anwendungen und Programmiersprachen ausgelegt.
• TensorFlow: Eine Open-Source-Machine-Learning-Plattform und -Bibliothek, die Datenaufbereitung, Erstellung und Bereitstellung von Modellen, Datenautomatisierung, Leistungsüberwachung und andere wichtige Aspekte von MLOps unterstützt. Nutzer können eigene Modelle erstellen oder vorgefertigte TensorFlow-Modelle verwenden.
• Iguazio: Eine speziell auf MLOps ausgerichtete Plattform, die sich in erster Linie auf automatisierte ML-Pipelines konzentriert, aber auch Lösungen für Modellüberwachung, CI/CD, Data Mesh und generative KI bietet. Außerdem sind einige Open-Source-Lösungen wie MLRun und Nuclio verfügbar.
• Weights & Biases: Eine KI-Entwickler- und MLOps-Plattform, die datenintensive MLOps-Szenarien und -Projekte unterstützt, unter anderem für LLMs, Computer Vision und Empfehlungssysteme. Die Plattform bietet außerdem umfangreiche Funktionen für das Experiment-Tracking und die Versionierung von Modellen.
• Neptune.ai: Eine MLOps-Experimentierplattform, die Nutzern Funktionen für die Versionierung von Modellen, die Erstellung von Pipelines, Protokollierung und Artefakt-Tracking bietet. Kostenpflichtige Tarife umfassen außerdem erweiterte Analysen und Zugriffskontrollen.
• H2O MLOps: Eine End-to-End-MLOps-Lösung mit Funktionen für automatische Skalierung und Drift-Erkennung. Nutzer können Modelle in verschiedenen Sprachen, Frameworks und Formaten überwachen und bereitstellen.
• Flyte: Eine Plattform zur Workflow-Orchestrierung, die für Machine Learning, Analysen, KI-Orchestrierung und Bioinformatik eingesetzt werden kann. Sie gilt als besonders benutzerfreundliche Lösung für Data Scientists und Data Engineers.

Eine typische in der Cloud gehostete MLOps-Bereitstellung. 

Erfahren Sie in diesen Leitfäden mehr über ähnliche Tools und Lösungen:

• Die besten MLOps-Tools und -Plattformen
• Die besten Machine-Learning-Plattformen

MLOps-Best-Practices

Wenn Sie mit MLOps beginnen, sollten Sie die Best Practices berücksichtigen, die DevOps-Praktiker befolgen, und sie auf spezifischere Anwendungsfälle der ML-Modellentwicklung ausrichten. Die folgenden Best Practices kombinieren Tipps und Tricks aus DevOps und MLOps für bessere Ergebnisse und eine organisationsweite Einführung:

Eine umfassende Designphase durchführen

Die Designphase ist die früheste Phase der MLOps-gesteuerten Modellentwicklung. In ihr kommen Data Scientists, Machine-Learning-Ingenieure und andere relevante Stakeholder zusammen, um die ideale Modellarchitektur zu entwerfen und zu bestimmen, was zur Umsetzung dieses Plans erforderlich ist.

In der Designphase sollte nicht nur berücksichtigt werden, welche Probleme Sie lösen möchten und welcher Modelltyp sowie welches Modelltraining am besten geeignet sind. Sie sollte auch die Datensammlung und -aufbereitung, das Feature- und Anforderungs-Engineering sowie eine detaillierte Dokumentation jeder Ihrer Entscheidungen umfassen.

In dieser Phase sollten Sie außerdem eine Bestandsaufnahme der vorhandenen Tools und Ressourcen sowie möglicher Lücken durchführen und zusätzliche Kosten oder Komplikationen ermitteln, die mit diesen neuen Investitionen verbunden sein könnten.

Automatisieren, wenn und wo es sinnvoll ist

Automatisierung ist ein großer Teil dessen, was MLOps wiederholbar und skalierbar macht. Dennoch ist es wichtig, bewusst zu entscheiden, was, wann und wie automatisiert wird. Stellen Sie vor allem sicher, dass die Daten und Regeln für eine Automatisierung korrekt und fehlerfrei sind, damit Sie nicht unbeabsichtigt vorhandene Fehler vervielfachen. Führen Sie zunächst eine Datenqualitätsprüfung durch und beginnen Sie anschließend mit kleineren Automatisierungen. Testen Sie diese – idealerweise in einer Testumgebung –, um festzustellen, ob Optimierungen erforderlich sind.

Von der Validierung von Datensätzen über Model Drift bis hin zur Leistungsüberwachung lässt sich mit den richtigen Tools und der passenden Einrichtung vieles automatisieren. Überlegen Sie daher, wo heute die größten Probleme Ihrer Teams liegen und wie Automatisierungen ihnen zu mehr Effizienz verhelfen können.

MLOps-Leistung kontinuierlich überwachen und testen

MLOps basiert auf der Idee, dass durch einen Zyklus kontinuierlicher Integration und Entwicklung im Laufe der Zeit bessere und standardisierte Modelle erstellt werden können. Um sich kontinuierlich zu verbessern, müssen Sie jedoch die Leistung des aktuellen Modells fortlaufend überwachen und testen sowie Bereiche für Verbesserungen und zusätzliches Training identifizieren.

Wenn Sie unsicher sind, worauf Sie beim Testen der MLOps-Leistung achten sollten, können Sie Kennzahlen zu den folgenden wichtigen Leistungselementen erstellen:

• Daten- und Konzeptdrift
• Modellkonfidenz
• Genauigkeit und Präzision des Modells
• Modell-Bias
• Recall des Modells und Verlaufsprotokolle
• Leistungsverzögerungen und Latenz
• Erklärbarkeit
• Nutzerfeedback (falls relevant)

In bewährte, hoch bewertete MLOps-Tools investieren

MLOps-Tools können Sie bei der Automatisierung verschiedener MLOps-Aufgaben unterstützen, darunter Datenqualitätsmanagement, Überwachung von ML-Modellen, Echtzeitanalysen und vieles mehr.

Die Investition in eines oder einige der oben vorgestellten Tools ist eine gute Möglichkeit, sicherzustellen, dass alle Mitglieder Ihres Teams – unabhängig von ihrer Entwicklungserfahrung – einen besseren Einblick in den MLOps-Lebenszyklus und ihre Rolle für dessen Erfolg erhalten.

Relevante Teammitglieder gewinnen und schulen

MLOps ist nur so erfolgreich wie die Teams, die an diesen Modellen arbeiten. Deshalb ist es wichtig, MLOps umsichtig einzuführen und Daten-, Entwicklungs-, Betriebs- und andere Teams so zusammenzubringen, dass Austausch und Zusammenarbeit gefördert werden.

Für viele dieser Teams wird der Übergang schwierig sein, insbesondere wenn sie traditionell nicht zusammengearbeitet haben. Stellen Sie daher eine Reihe von Lernressourcen, praktischen Übungsprojekten und Schulungsmöglichkeiten bereit, um ein wirksameres Change Management in der Organisation zu ermöglichen.

Daten, Automatisierungen und alle Prozesse einer Qualitätsprüfung unterziehen

MLOps-Standards können außer Kontrolle geraten, wenn keine eigens dafür zuständigen Teammitglieder die Qualität von Trainingsdaten, Automatisierungen, Prozessen und anderen Aspekten der Modellentwicklung überprüfen. Ein QA-Team oder Spezialist, der sich dieser Aufgaben widmet, kann Fehler und Schwachstellen erkennen, bevor sie größere Probleme verursachen. Eine Reihe von MLOps-Plattformen umfasst ebenfalls Tools für Qualitätsmanagement und Automatisierung, die dabei helfen können.

Arbeit und Projektstrukturen dokumentieren

Bei MLOps geht es nicht darum, ein einziges großartiges ML-Modell zu erstellen, sondern den strategischen Rahmen und die Grundlagen für mehrere großartige ML-Modelle zu schaffen. Selbst wenn Ihre MLOps-Reise holprig beginnt, müssen Sie jeden Schritt dokumentieren – von der Datenaufbereitung über die Modellentwicklung und -bereitstellung bis hin zu allen Zwischenstufen. Eine solche Dokumentation unterstützt Reproduzierbarkeit und Skalierbarkeit und liefert Ihrem Team zugleich die historischen Daten, die es benötigt, um frühere Entscheidungen zu verbessern.

Bedenken Sie, dass Dokumentation bei MLOps ein kontinuierlicher Prozess ist. Jedes Mal, wenn Ihr Team ein Modell oder einen Prozess ändert, sollte diese Änderung dokumentiert werden – idealerweise in einem cloudbasierten Echtzeitsystem, in dem alle Stakeholder die Änderung und ihre Auswirkungen auf alle anderen Bereiche nachvollziehen können.

Fazit: MLOps in Ihre Geschäfts-Workflows integrieren

MLOps kann in die Praxis der ML-Modellentwicklung jedes Unternehmens integriert werden – ganz gleich, ob Sie gerade erst mit Machine Learning beginnen oder derzeit laufende Abläufe im großen Maßstab transformieren möchten.

Da immer mehr Unternehmen daran arbeiten, die Entwicklung von Machine-Learning-Modellen für interne und kundenorientierte Abläufe zu optimieren und zu monetarisieren, hat sich MLOps zu einem umfassenden Best-Practice-Framework entwickelt. Es hilft den technischen Beteiligten dieser Unternehmen, während des gesamten Entwicklungslebenszyklus den Überblick zu behalten und effektiver zusammenzuarbeiten.

Die Ausarbeitung und verbindliche Einführung eines standardisierten MLOps-Programms kann einige Zeit in Anspruch nehmen und schwierig sein – insbesondere angesichts des organisatorischen Veränderungsmanagements, das mit einem solchen Übergang einhergeht. Wenn Sie sich jedoch mit den möglichen MLOps-Herausforderungen auseinandersetzen und mit einem klaren Plan sowie Best Practices wie den oben aufgeführten an die Sache herangehen, ist das ein guter erster Schritt hin zu einer erfolgreichen, skalierbaren Umsetzung.

Weiterlesen: 13 beste Software für künstliche Intelligenz (KI)