Ein Daten-Mesh ist ein dezentraler Ansatz für das Datenmanagement, bei dem die Daten selbst innerhalb der Geschäftsdomäne verbleiben, die sie erfasst hat. Die Daten-Mesh-Technologie ermöglicht jedoch, dass diese Daten qualifizierten Nutzern an verschiedenen Standorten zur Verfügung stehen, ohne dass die Daten von ihrem aktuellen Standort verschoben oder anderweitig heruntergeladen werden müssen.
Ein Daten-Mesh ist eindeutig kein Datensilo. Tatsächlich ist es zentral für die Bemühungen der digitalen Transformation, Daten umfassend zu verteilen. Die SQL-Clients der gesamten Organisation können die Daten über eine verteilte Abfrage-Engine abfragen. Auf diesen privat verwalteten, konsistenten Geschäftsdaten sitzt die verteilte Abfrage-Engine, die auf die Daten zugreifen und sie für die Interoperabilität vereinheitlichen kann, anstatt sie zentral zu speichern.
Mit anderen Worten: Ein Daten-Mesh demokratisiert die Daten. Es schafft „Datensätze als Produkt“ – ein standardisiertes Angebot, das allen Personen mit entsprechender Berechtigung zur Verfügung steht. Es ist sicher, entspricht den lokalen Vorschriften und ist plötzlich deutlich skalierbarer.
Kurz gesagt rückt bei einer Daten-Mesh-Architektur der Nutzer der Geschäftsdomäne an die Spitze der Prioritätenliste. Dadurch kann er selbst entscheiden, welche Daten vorhanden sein dürfen und welche nicht. Das befreit ihn von kostspieligen Infrastrukturbeschränkungen, die den Zugriff der Organisation auf die geballte Erkenntnis aus all ihren Daten verhindern.
Siehe auch: Leitfaden zur digitalen Transformation: Definition, Arten und Strategie
Herausforderungen und Potenzial von Data Mesh
Hier eine Prognose: Bis 2025 werden diejenigen von uns, die in der sich ständig wandelnden Welt der Datenaggregation, des Datentransports, von ETL, der Speicherung, von Business Intelligence und der Zugänglichkeit leben, Data Mesh ähnlich betrachten wie heute das Cloud Computing. Es ist eine Strategie, die gleichzeitig den Aufwand (Zeit und Geld) verringert, Routinearbeiten (Wartung, Upgrades, Backups) reduziert und Endnutzern Möglichkeiten bietet, die es zuvor nicht gab.
Kurz gesagt ist Data Mesh eine technologische Weiterentwicklung, deren technische und geschäftliche Vorteile sie zugleich offensichtlich und unvermeidlich machen. Welche Herausforderungen soll dieses sich entwickelnde Paradigma lösen?
Siehe auch: Techniken des Data Mining
Zu viele Daten aus zu vielen Quellen
Die Datenflut, die einsetzt, wenn Unternehmen die vollständige digitale Transformation annehmen, ist überwältigend. Datenpunkte strömen dynamisch und weltweit ein – mit einer Detailtiefe, die bisher unvorstellbar war.
Während historische Finanz- und Betriebsdaten schon immer als Analysewerkzeug dienten, mit dem das Management Geschäftsentscheidungen vorantrieb, liefert BI nun auch den Marketing-, Vertriebs- und Produktentwicklungsteams richtungsweisende Erkenntnisse auf Grundlage ständig verfügbarer Transaktionsdaten. Diese kundennahen Teams können endlich sofort erkennen, was funktioniert und was nicht – basierend auf jeder einzelnen Handlung der Kunden.
Diese Macht ist außergewöhnlich, doch die Datenmenge, mit der sie arbeiten müssen, lässt sich nur schwer erfassen, speichern, abfragen und verwalten.
Siehe auch: Trends in der Datenanalyse
Data Lakes
Niemand wird behaupten, dass isolierte Daten etwas Gutes sind; Hunderte von Start-up-Unternehmen sind entstanden und bieten Lösungen an, um diese Silos aufzubrechen. Doch während das Ziel im vergangenen Jahrzehnt darin bestand, Datenquellen in einem einzigen Repository zu vereinheitlichen und so eine „einzige Quelle der Wahrheit“ zu schaffen, wirkt dieses Repository plötzlich – erstaunlicherweise – wie eine Strategie von gestern. Warum? Weil es mehrere Einschränkungen mit sich bringt, während diese gewaltige zentrale Quelle Tag für Tag wächst.
Ein Daten-Mesh hilft dabei, diese Einschränkungen zu beheben, indem es die Abschottung eines Silos verringert. Ein Daten-Mesh macht Daten für Experten in der gesamten Organisation verfügbar.
Datenmanagement in Großunternehmen
Eindeutig ist das Datenmanagement in Großunternehmen mit seinen großen Datenmengen kompliziert. Besonders schwierig ist es, laufende Datenströme in statische oder historische Daten zu integrieren.
Daten, die aus Quellen am Rand in den Data Lake hinein- und wieder herausfließen – sowie die Verwaltung ihrer Speicherung nach dem Eintreffen – sind zeit- und ressourcenintensiv und sehr teuer. Die Engpässe treten häufiger auf, und die geschäftliche Agilität nimmt ab.
Eine einzige aggregierte Datensammlung kann die je nach Land unterschiedlichen Vorschriften zu Datenresidenz und Datenschutz nicht ohne Weiteres erfüllen; die Data Governance ist geografisch vielfältig, die Hardware jedoch nicht.
Schließlich – und oft das schmerzhafteste Merkmal eines überladenen Data Lakes – skaliert der Abfrageaufwand nicht. Je mehr Nutzer dieselbe Datenbank abfragen, weitere Quellen hinzufügen oder vorhandene Daten bearbeiten müssen, desto langsamer werden die Antwortzeiten. Dabei wird natürlich vorausgesetzt, dass der Data Lake echte Datenvirtualisierung unterstützt, sodass jede berechtigte Person nahtlos eine Verbindung zu jeder Datenquelle oder Plattform herstellen kann – laut unserer jüngsten Umfrage ein wichtiger Aspekt.
Kurz gesagt: Alle Eier in einen Korb zu legen, hat durchaus seinen Reiz, doch dieser Korb wird sehr schwer und lässt sich nur schwer tragen … oder das richtige Ei darin finden. Hier kommt das Daten-Mesh ins Spiel. Es bewahrt die Vorteile eines zentralisierten, standardisierten Data Lakes und führt zugleich Skalierbarkeit und Zugriffsmöglichkeiten ein, die bisher fehlen. Man kann es sich als „verteilten Data Lake“ vorstellen.
Siehe auch: Die besten Tools für Datenanalyse
Wie stärkt Data Mesh die Nutzer?
Ein Daten-Mesh bietet automatisierte, umfassende und sofortige Analysen im großen Maßstab. Datenwissenschaftler – und Datenkonsumenten mit weniger Fachwissen und Ausbildung – können nun auf Geschäftsdaten zugreifen und eigene Analysen durchführen, die auf ihre individuellen geschäftlichen Anforderungen ausgerichtet sind.
Diese Self-Service-Strategie mit ihrer zentralen Zugriffskontrolle stellt erstmals einen menschenzentrierten Plan für das Datenmanagement dar: eine schnellere und effektivere Möglichkeit, Antworten zu erhalten, ohne das DevOps-Team zu belasten oder auf dessen Verfügbarkeit hoffen zu müssen. Das ist ein großer Vorteil für Datenteams.
Zhamak Dehghani, Director of Emerging Technologies bei Thoughtworks, der die Entwicklung dieses Paradigmas im Jahr 2019 auf einer Konferenz von O’Reilly zugeschrieben wird (sie gab ihm später seinen Namen, als sie buchstäblich das Buch zu diesem Thema schrieb), bezeichnet es als Hybrid: „einen dezentralen soziotechnischen Ansatz – mit Fokus auf organisatorischem Design und technischer Architektur.“
Zugriff schafft Erkenntnisse
Das Daten-Mesh ist gewissermaßen auch die nächste Entwicklungsstufe des „Jeder/jederzeit“-Modells, das wir von Cloud Computing und Datenvirtualisierung erwarten.
Die eigenen Anwendungen und Zugriffswerkzeuge einer Geschäftsdomäne sind in der Regel auf die eigenen Nutzer und deren spezifische Anforderungen zugeschnitten. Im Idealfall befinden sich die Daten lokal, sodass die Latenz minimal ist.
Wenn Mitglieder einer Geschäftseinheit jedoch Daten aus einer anderen benötigen, sind sie durch ihre eigenen Frameworks eingeschränkt. Erhalten sie tatsächlich Zugriff auf den zentralen Data Lake, erhöht dessen entfernter Standort (und seine Größe, von der der Großteil nicht aus den Daten der eigenen Geschäftseinheit besteht) die Latenz.
Mit einem Daten-Mesh ist es einfacher denn je, Systeme miteinander interagieren zu lassen, ihre lokal gespeicherten Daten gemeinsam zu nutzen und die Ergebnisse einer vielfältigen Gruppe von Geschäftsnutzern bereitzustellen. Dabei kann es sich um völlig unabhängige Teams handeln (etwa HR und F&E) oder um funktionsübergreifende Teams mit denselben Zielen und oft denselben Daten (Qualitätssicherung mit Produktmanagement oder Vertrieb mit Marketing). Diese neue mühelose Transparenz verspricht ein neues Produktivitätsniveau.
Siehe auch: Die beste Business-Intelligence-Software
Welche drei Arten von Data Mesh gibt es?
Während sich dieser Ansatz etabliert, sollten Sie auf drei Arten oder „Ausprägungen“ von Data Mesh achten. Die meisten Unternehmen werden eine Kombination daraus verwenden:
- Dateibasiert: Die Daten werden zusammengestellt, als Paket verpackt und einfach als statische Datei bereitgestellt. Dies kommt dem heutigen einfachen Ansatz der Cloud-Speicherung am nächsten, wird jedoch im Rahmen des neuen universellen Peer-to-Peer-Sharing-Modells existieren.
- Ereignisgesteuert: Unabhängig von Geschäftseinheit oder Abteilung können sich Nutzer für Benachrichtigungen anmelden, wenn sich Daten auf eine für sie möglicherweise relevante Weise ändern. Auch das ist keine Raketenwissenschaft, aber erst möglich, wenn diese zuvor isolierten Daten in der gesamten Organisation offengelegt und zugänglich gemacht werden.
- Abfragefähig: Die leistungsfähigste Ausprägung: Jeder Nutzer kann föderierte Abfragen über mehrere Datenbanken hinweg senden und so Erkenntnisse gewinnen, die nur durch die Kombination der Ergebnisse möglich sind. Dies ist der Heilige Gral, der Endnutzern neue Möglichkeiten eröffnet und Datenwissenschaftlern angesammelte Urlaubstage beschert.
Beachten Sie, dass es beim Daten-Mesh nicht ausschließlich um die Beschäftigten eines Unternehmens geht. Endnutzer werden die Geschwindigkeit einer Antwort spüren, wenn die Daten aus einer optimierten, dedizierten und verteilten Quelle stammen statt aus einer riesigen Quelle für mehrere Zwecke. Im Gegenzug können die Clickstream- und Webdaten, die diese Nutzer dabei bereitstellen, sofort aufgenommen und als reine Feedbackschleife verarbeitet werden, um Leistung und Produktfunktionen zu verbessern und letztlich die Gewinne zu steigern.
Siehe auch: Die führenden Unternehmen für digitale Transformation
Daten demokratisieren
Auch wenn eine flächendeckende Implementierung und Einführung nicht über Nacht erfolgen wird, setzen viele Organisationen auf Daten-Mesh-Architekturen, um ihre Daten zu demokratisieren und zu skalieren.
Dieser Schritt überträgt den Datenteams die Verantwortung, wirklich autonom zu werden: Sie müssen Daten selbst aufnehmen und bereinigen, ETL-Pipelines erstellen und warten sowie die Zugriffskontrolle verwalten. Gleichzeitig können sie umso bessere Ergebnisse erwarten, je stärker sie in diese vollständig selbst verantworteten Schritte investieren. Und ja, das bedeutet eine neue „harmonische“ Ära des gegenseitig vorteilhaften Teilens, in der jede Domäne die anderen unterstützt, indem sie ihre Daten einfach umwandelt und ihrer Community anbietet.
Zum Abschluss möchte ich einen Gedanken von Dehghani anführen, mit dem sie den übergeordneten Wert einer verteilten Daten-Mesh-Architektur mit domäneneigenen Daten unter einem zentralisierten Zugriffssystem beschreibt: „Die Technologien, die in den vergangenen Jahrzehnten ihren operativen Maßstab erfolgreich vergrößert haben, haben eines gemeinsam: Sie haben den Bedarf an Koordination und Synchronisierung minimiert.“
Über den Autor:
Ori Reshef ist VP of Products bei Varada.