Eine Datenpipeline ist eine Reihe von Aktionen, die in Verarbeitungsschritten organisiert sind und Rohdaten aus mehreren Quellen für die Speicherung, KI-Software, Business Intelligence (BI), Datenanalysen und Visualisierung an einem Ziel zusammenführt.
Datenpipelines spielen eine zentrale Rolle im Netzwerkbetrieb. Beispielsweise könnte ein Unternehmen Rohdaten aus einer Datenbank oder einem CRM-System abrufen und in einen Data Lake oder ein Data Warehouse für prädiktive Analysen übertragen. Damit dieser Prozess effizient abläuft, muss eine umfassende Datenstrategie implementiert werden – und die Datenpipeline steht im Zentrum dieses Prozesses.
Datenpipelines verstehen
Eine Datenpipeline besteht aus drei zentralen Elementen: Quelle, Verarbeitung und Ziel. Die Quelle ist der Ausgangspunkt einer Datenpipeline. Zu den Datenquellen können relationale Datenbanken und Daten aus SaaS-Anwendungen gehören. Für die Verarbeitung oder Aufnahme von Modellen gibt es zwei verschiedene Methoden: Batch-Verarbeitung und Stream-Verarbeitung.
- Batch-Verarbeitung: Sie erfolgt, wenn die Quelldaten regelmäßig erfasst und an das Zielsystem gesendet werden. Die Batch-Verarbeitung ermöglicht komplexe Analysen großer Datensätze. Da sie regelmäßig erfolgt, stammen die aus dieser Art der Verarbeitung gewonnenen Erkenntnisse aus Informationen und Aktivitäten, die in der Vergangenheit stattgefunden haben.
- Stream-Verarbeitung: Sie erfolgt in Echtzeit, wobei die Daten unmittelbar nach ihrer Erstellung erfasst, bearbeitet und geladen werden. Die Stream-Verarbeitung kann geeigneter sein, wenn Aktualität wichtig ist, da sie weniger Zeit in Anspruch nimmt als die Batch-Verarbeitung. Außerdem sind die Kosten und der Wartungsaufwand bei der Stream-Verarbeitung geringer.
Das Ziel ist der Ort, an dem die Daten gespeichert werden, beispielsweise ein lokaler oder cloudbasierter Speicherort wie ein Data Warehouse, ein Data Lake, ein Data Mart oder eine bestimmte Anwendung. Das Ziel wird auch als „Sink“ bezeichnet.
Datenpipeline vs. ETL-Pipeline
Eine beliebte Untergruppe der Datenpipeline ist die ETL-Pipeline. ETL steht für Extract, Transform und Load. Obwohl der Begriff weit verbreitet ist, kann er nicht synonym mit dem Oberbegriff „Datenpipeline“ verwendet werden.
Eine ETL-Pipeline ist eine Reihe von Prozessen, die Daten aus einer Quelle extrahieren, transformieren und in ein Ziel laden. Bei der Quelle kann es sich um Geschäftssysteme oder Marketingtools handeln, während ein Data Warehouse als Ziel dient.
Zwischen einer ETL-Pipeline und einer Datenpipeline gibt es einige zentrale Unterschiede. Erstens beinhalten ETL-Pipelines immer eine Datentransformation und werden stapelweise verarbeitet, während Datenpipelines Daten in Echtzeit aufnehmen und nicht immer eine Datentransformation beinhalten. Außerdem endet eine ETL-Pipeline mit dem Laden der Daten in ihr Ziel, während eine Datenpipeline nicht immer mit dem Ladevorgang endet. Stattdessen kann das Laden neue Prozesse aktivieren, indem Webhooks in anderen Systemen ausgelöst werden.
Verwendungszwecke von Datenpipelines:
- Daten verschieben, verarbeiten und speichern
- Prädiktive Analysen durchführen
- Echtzeitberichte und Aktualisierungen von Kennzahlen ermöglichen
Verwendungszwecke von ETL-Pipelines:
- Die Daten Ihres Unternehmens zentralisieren
- Daten intern zwischen verschiedenen Datenspeichern verschieben und transformieren
- Ihr CRM-System mit zusätzlichen Daten anreichern
9 beliebte Tools für Datenpipelines
Eine Datenpipeline hilft zwar dabei, den Datenfluss zu einem Ziel zu organisieren, doch die Verwaltung der Abläufe Ihrer Datenpipeline kann überwältigend sein. Für einen effizienten Betrieb gibt es eine Vielzahl nützlicher Tools, die unterschiedliche Anforderungen an Pipelines erfüllen. Zu den besten und beliebtesten Tools gehören:
- AWS Data Pipeline: Automatisiert die Verschiebung und Transformation von Daten auf einfache Weise. Die Plattform hilft Ihnen, komplexe Datenverarbeitungs-Workloads zu erstellen, die fehlertolerant, wiederholbar und hochverfügbar sind.
- Azure Data Factory: Ein Datenintegrationsdienst, mit dem Sie Ihre Datenquellen visuell über mehr als 90 integrierte, wartungsfreie Konnektoren integrieren können.
- Etleap: Ein analystenfreundliches und wartungsfreies Redshift-Datenpipeline-Tool. Etleap erleichtert Unternehmen die Verschiebung von Daten aus unterschiedlichen Quellen in ein Redshift Data Warehouse.
- Fivetran: Eine Plattform, die den Fokus auf den „schnelleren Weg zu Erkenntnissen“ legt, anstatt sich auf ETL konzentrieren zu müssen. Sie nutzt robuste Lösungen mit standardisierten Schemata und automatisierten Pipelines.
- Google Cloud Dataflow: Eine einheitliche Plattform für die Stream- und Batch-Datenverarbeitung, die Betrieb und Verwaltung vereinfacht und die Gesamtbetriebskosten senkt.
- Keboola: Keboola ist eine SaaS-Plattform, die kostenlos startet und den gesamten Betriebszyklus einer Pipeline abdeckt.
- Segment: Eine Kundendatenplattform, die Unternehmen zum Erfassen, Bereinigen und Kontrollieren von Kundendaten verwenden, um die Customer Journey zu verstehen und Kundeninteraktionen zu personalisieren.
- Stitch: Stitch ist eine Cloud-First-Plattform, die Daten innerhalb weniger Minuten schnell an die Analysten Ihres Unternehmens überträgt, damit diese entsprechend Ihren Anforderungen genutzt werden können. Statt sich auf Ihre Pipeline zu konzentrieren, hilft Stitch dabei, wertvolle Erkenntnisse sichtbar zu machen.
- Xplenty: Eine cloudbasierte ETL-Plattform für Einsteiger, die den ETL-Prozess zur Vorbereitung von Daten für Analysen vereinfacht.
Über den Autor:
Dibongo (Dibo) Ngoh ist Solutions Engineer bei 2nd Watch.