Skalierung von Deep-Learning-/KI-Anwendungen: 4 Best Practices

Eine häufige Klage unter Machine-Learning-Ingenieuren lautet, dass es im Allgemeinen problematisch ist, Machine Learning (ML), Deep Learning (DL) und KI-Anwendungen in die Produktion zu überführen. Viele Ingenieure würden bestätigen, dass ein großer Anteil – schätzungsweise 90 % – der ML-Modelle nie das Licht der Produktionswelt erblickt.

Sehen wir uns vier Best Practices an, um diese Probleme zu verhindern. Abgeleitet aus Branchentrends, Fachliteratur und kodifizierten MLOps-Best-Practices verbessern diese vier Best Practices den Prozess der Bereitstellung von Modellen in der Produktion.

Siehe auch: Top-AI-Software 

1) Bringen Sie Ihre Datenstrategie in Ordnung

Daten sind komplex und unsauber. Sie sind komplex, weil Daten in Form und Format variieren: Batch- oder Streaming-Daten, strukturierte, unstrukturierte oder semistrukturierte Daten. Sie sind unsauber, weil Daten oft fehlende oder fehlerhafte Werte enthalten. Kein Deep-Learning- oder KI-Modell ist ohne umfangreiche, bereinigte und durch Feature Engineering aufbereitete Daten von Wert.

Sie benötigen einen robusten Datenspeicher, um die für den Aufbau präziser Modelle erforderlichen Big Data zu verarbeiten. Ein moderner Data Lake speichert sowohl strukturierte als auch unstrukturierte Daten. Ein moderner Data Lake weist die folgenden Dateneigenschaften auf:

• Bietet ACID-Transaktionen, sodass mehrere Leser und Schreiber Daten ohne Behinderungen oder Konflikte aktualisieren und lesen können und gleichzeitig ETL-Jobs (Extract, Transform and Load) sowie kontinuierliche Einfügungen und Aktualisierungen möglich sind.
• Speichert Daten in einem offenen Format wie Parquet, JSON oder CSV, sodass gängige Deep-Learning-Frameworks offen und effizient auf Daten zugreifen können.
• Hält strukturierte Daten als Tabellen vor, die versioniert werden können und einem Schema entsprechen, wodurch die Reproduzierbarkeit und Nachvollziehbarkeit von Modellen ermöglicht wird.
• Ermöglicht schnellen und durchsuchbaren Zugriff auf die verschiedenen Datenarten (Beschriftungen, Bilder, Videos, Text usw.), sodass Machine-Learning-Ingenieure die richtigen Datensätze für das jeweilige Geschäftsproblem abrufen können.

Ein moderner Data Lake als Datenspeicher.

Ohne einen kohärenten Datenspeicher als kanonische, zuverlässige und bereinigte Datenquelle für das Training und die Inferenz all Ihrer ML-Modelle stoßen Sie auf die erste „Daten“-Falle. Das gilt unabhängig davon, welches Deep-Learning-Framework Sie verwenden – und bringt uns zur nächsten Überlegung.

Siehe auch: DevOps, Low-Code und RPA:  Vor- und Nachteile 

2) Verwenden Sie etablierte und weitverbreitete Frameworks

So wie gute Daten gute Modelle hervorbringen, tun dies auch weitverbreitete Deep-Learning-Toolkits und -Frameworks. Unter ML-/DL-Praktikern würde niemand bestreiten, dass PyTorch, PyTorch Lightning, TensorFlow, HuggingFace, Horovod, XGBoost, oder MXNet beliebte Frameworks für den Aufbau skalierbarer Deep-Learning-Modelle sind. Abgesehen davon, dass sie weitverbreitet sind, haben sie sich zum Standard für die Entwicklung anspruchsvoller Deep-Learning- und KI-Anwendungen entwickelt.

Übernehmen Sie diese Frameworks, weil:

• Sie über eine große unterstützende Community, umfangreiche Dokumentation, Tutorials und Beispiele zum Lernen verfügen.
• Sie das Training und die Inferenz auf moderner beschleunigter Hardware (CPUs, GPUs usw.) unterstützen.
• Sie sich im Produktionseinsatz bewährt haben (und von namhaften Unternehmen verwendet werden).
• Sie nativ in Ray integriert sind, ein aufstrebendes Open-Source-Framework für allgemeine Zwecke zur Entwicklung und Skalierung verteilter KI-Anwendungen.
• Sie über Python-API-Bindings verfügen – Python ist die De-facto-Sprache für Deep Learning.
• Sie Integrationen mit MLflow, KubeFlow, TFX, SageMaker, und Weights & Biases für die Bereitstellung von Modellen sowie die Bereitstellung und Orchestrierung von Modellpipelines in der Produktion bieten.

Integrationen von ML-/DL-Frameworks mit Ray und Modellregistern.

Wer die im Praxiseinsatz bewährten Frameworks nicht nutzt, die gut in beliebte Open-Source-Tools für den Modellentwicklungszyklus und dessen Verwaltung oder für verteiltes Training in großem Maßstab integriert sind, stößt mit Sicherheit auf eine weitere Falle: die falschen Tools und Frameworks. Die Notwendigkeit eines Lebenszyklus für die Modellentwicklung führt uns zu der Frage, warum Sie das Modelltraining mithilfe eines Modellspeichers nachverfolgen sollten.

Siehe auch: Data-Mining-Techniken 

3) Verfolgen Sie das Modelltraining mit einem Modellspeicher

Das Paradigma des Lebenszyklus der Modellentwicklung unterscheidet sich vom allgemeinen Lebenszyklus der Softwareentwicklung. Ersterer ist iterativ, experimentell, daten- und metrikgetrieben. Mehrere Faktoren beeinflussen den Erfolg des Modells in der Produktion:

• Sind die gemessenen Metriken des Modells korrekt? Eine Modellregistrierung erfasst während des Trainings und Testens alle Metriken und Parameter, die Sie zur Bewertung prüfen können.
• Kann ich mehr als ein DL-Framework verwenden, um das beste Modell zu erhalten? Modellregistrierungen unterstützen heute mehrere Frameworks, um Modelle als Artefakte für Bereitstellungen zu protokollieren.
• Waren die Datenquellen zuverlässig und umfangreich genug, um eine allgemeingültige Stichprobe abzubilden? Das ist das erfolgreiche Ergebnis einer gut umgesetzten Datenstrategie.
• Können wir das Modell mit den für das Training verwendeten Daten reproduzieren? Die Modellregistrierung kann Metadaten als Verweise auf Datentabellen im Datenspeicher speichern. Der Zugriff auf die ursprünglichen Trainingsdaten und Metadaten ermöglicht die Reproduktion eines Modells.
• Können wir die Entwicklungslinie eines Modells – von der Entwicklung bis zur Bereitstellung – zur Herkunftssicherung und Nachvollziehbarkeit verfolgen? Modellregistrierungen verfolgen die Versionierung jedes Experimentlaufs, sodass Sie eine exakte Version des trainierten Modells mit all seinen Eingabe- und Ausgabeparametern sowie Metriken extrahieren können.

Das Nachverfolgen von Experimenten für Modelle und das dauerhafte Speichern aller Aspekte ihrer Ergebnisse – Metriken, Parameter, Datentabellen und Artefakte – gibt Ihnen die Sicherheit, das richtige und beste Modell in der Produktion bereitzustellen. Kein daten- und metrikgetriebenes Modell für die Produktion zu haben, ist eine weitere Falle, die es zu vermeiden gilt. Doch das reicht nicht aus: Das Verhalten und die Leistung von Modellen in der Produktion zu beobachten, ist ebenso wichtig wie das Nachverfolgen von Experimenten.

Siehe auch: Data-Mining-Techniken 

4) Beobachten Sie das Modell in der Produktion

Die Beobachtbarkeit von Modellen in der Produktion ist unerlässlich. Oft wird sie nachträglich berücksichtigt – doch das geschieht auf eigene Gefahr und führt in eine Falle. Sie sollte an erster Stelle stehen. ML- und DL-Modelle können sich im Laufe der Zeit aus einigen Gründen verschlechtern oder driften:

• Daten- und Modellkonzeptdrift im Laufe der Zeit: Daten sind komplex und niemals statisch. Die Daten, mit denen das Modell trainiert wurde, können sich im Laufe der Zeit verändern. So kann ein bestimmtes Bild, das für die Klassifizierung oder Segmentierung trainiert wurde, zusätzliche, bislang nicht berücksichtigte Merkmale aufweisen. Dadurch kann das Modellkonzept der Inferenz driften, was zu Fehlern und einer Abweichung von der Ground Truth führt. Die Erkennung solcher Drifts erfordert ein erneutes Training und eine erneute Bereitstellung des Modells.
• Die Inferenz von Modellen schlägt im Laufe der Zeit fehl: Modellvorhersagen werden im Laufe der Zeit aufgrund des oben beschriebenen Datendrifts fehlerhaft und schlagen fehl.
• Systeme verschlechtern sich unter hoher Last: Auch wenn Sie Zuverlässigkeit und Skalierbarkeit als Teil Ihrer Dateninfrastruktur berücksichtigen, ist es unerlässlich, den Zustand Ihrer Infrastruktur aufmerksam zu überwachen – insbesondere den Ihrer dedizierten Modellserver während Spitzenzeiten mit hohem Datenverkehr.

Siehe auch: Tech-Prognosen für 2022: Cloud, Daten, Cybersicherheit, KI und mehr

Über den Autor: 

Robert Nishihara ist Mitgründer und CEO von Anyscale. Er hat einen Doktortitel in Machine Learning und verteilten Systemen.