Um umfangreichere und zeitnahere Erkenntnisse zu gewinnen, setzen Unternehmen immer größere Datenmengen ein. Dieser Trend wird sich voraussichtlich fortsetzen. Ein Modell von IDC prognostiziert, dass sich die globale Datensphäre bis 2025 ungefähr verdreifachen wird.
Doch dieser Trend ist nicht neu. Schließlich begleitet uns der Begriff Big Data schon seit geraumer Zeit. Was sich verändert hat, ist die Quelle der Daten und ihre zunehmende Fluidität. Mit anderen Worten: Mobile Geräte und das IoT – der Edge-Bereich – werden die Datenerzeugung vorantreiben.
Außerdem werden Verarbeitung und Analyse an verschiedenen Punkten stattfinden – auf dem Gerät, an den Gateways und in der Cloud. Vielleicht wäre Fluid Distributed Data ein besserer Begriff als Big Data?
Unabhängig davon bedeuten mehr Daten letztlich mehr tragfähige Geschäftsmöglichkeiten – insbesondere, weil diese neuen Daten am Ort des Geschehens durch Menschen und Maschinen erzeugt werden.
Um die ihnen zur Verfügung stehenden wachsenden Datenmengen vollständig zu nutzen, benötigen Unternehmen eine Möglichkeit, sie über Plattformen hinweg effizienter zu verwalten – vom Edge bis zur Cloud und zurück. Sie müssen unterschiedliche Datentypen verarbeiten, speichern und optimieren, die aus verschiedenen Quellen stammen und einen unterschiedlichen Grad an Bereinigung und Validität aufweisen. Sie müssen diese Daten mit internen Anwendungen verbinden und Geschäftsprozesslogik darauf anwenden, zunehmend unterstützt durch Modelle für künstliche Intelligenz und maschinelles Lernen.
Das ist eine große Herausforderung. Eine Lösung, die Unternehmen derzeit verfolgen, ist die Einführung einer Data Fabric. Und mit dem weiteren Wachstum der Datenvolumen am Netzwerkrand wird sich diese Lösung zu dem entwickeln, was künftig häufiger als eine Edge Data Fabric.
Was ist eine Data Fabric
Über eine Data Fabric lassen sich Daten, die über verschiedene Bereiche verteilt sind, einfach und transparent in Echtzeit über eine vereinheitlichende Datenebene und unter derselben Verwaltung abrufen. Die Data Fabric selbst ermöglicht es Betreibern, Daten über verschiedene Bereitstellungsplattformen, Datenprozesse, geografische Standorte und strukturelle Ansätze hinweg zu verschieben und abzurufen.
Im Wesentlichen fungiert eine Data Fabric sowohl als Verbindungsinfrastruktur als auch als Übersetzer für Daten, die auf verschiedene Plattformen übertragen werden und diese verlassen – darunter Rechenzentren, die Public Cloud, Private Clouds sowie die zahlreichen Arten von Gateways und Geräten, die am Edge betrieben werden.
Wie eine Data Fabric auf Edge Computing angewendet wird
Edge Computing bringt eine Reihe einzigartiger Herausforderungen für Daten mit sich, die außerhalb des Netzwerkkerns erzeugt und verarbeitet werden. Die am Edge betriebenen Geräte selbst werden immer komplexer.
Intelligente Geräte wie vernetzte SPS steuern Magnetventile, die wiederum Prozessabläufe in einer Chemiefabrik regeln, Drucksensoren, die das Gewicht bestimmen, sowie aktive RFID-Tags, die den Standort eines Frachtcontainers ermitteln. Der überwiegende Teil der Verarbeitung fand früher im Rechenzentrum statt, doch das hat sich dahin verlagert, dass ein größerer Teil der Verarbeitung in der Cloud erfolgt. In beiden Fällen findet die Verarbeitung auf einer Seite eines Gateways statt.
Das Rechenzentrum war fest und nicht virtuell, die Cloud hingegen ist fluid. Betrachtet man die Definition der Cloud, wird deutlich, warum darin eine Data Fabric benötigt wird. Bei der Cloud geht es um Fluidität und die Aufhebung der Ortsgebundenheit, doch ebenso wie beim Rechenzentrum geht es um die Verarbeitung von Daten, die mit Anwendungen verbunden sind.
Es mag uns gleichgültig sein, wo sich die Salesforce-Cloud, die Oracle-Cloud oder irgendeine andere Cloud tatsächlich befindet. Wichtig ist jedoch, dass meine Daten zwischen verschiedenen Clouds übertragen werden und in jeder von ihnen für unterschiedliche Vorgänge persistent verfügbar sein müssen.
Aufgrund dieser ganzen Komplexität müssen Unternehmen bestimmen, welche Teile der Verarbeitung auf welcher Ebene erfolgen. Für jede gibt es eine Anwendung, und für jede Anwendung gibt es eine Manipulation. Und für jede Manipulation sind Datenverarbeitung und Speicherverwaltung erforderlich.
Der Zweck einer Data Fabric besteht darin, die gesamte Komplexität zu bewältigen. Spark wäre beispielsweise ein zentrales Element einer Data Fabric in der Cloud, da es sich schnell zum einfachsten Weg entwickelt hat, Streaming-Daten zwischen verschiedenen Cloud-Plattformen unterschiedlicher Anbieter zu übertragen.
Der Edge entwickelt sich rasch zu einer neuen Cloud, die dieselben Cloud-Technologien und -Standards in Kombination mit neuen, speziell für den Edge konzipierten Netzwerken wie 5G und WLAN 6 nutzt. Und wie in der zentralen Cloud laufen auch hier auf den einzelnen Geräten, auf Gateways und an Orten, die dem früheren Äquivalent eines Rechenzentrums entsprechen würden – in einem Wandschrank auf dem Fabrikgelände, in einem Flugzeug, auf einem Frachtschiff und so weiter – immer leistungsfähigere, intelligentere Anwendungen. Es liegt nahe, dass dafür eine analoge Edge Data Fabric zu derjenigen benötigt wird, die sich in der zentralen Cloud herausbildet.
Gemeinsame Elemente einer Edge Data Fabric
Um die wachsende Zahl an Datenanforderungen zu bewältigen, die Edge-Geräte stellen, muss eine Edge Data Fabric mehrere wichtige Funktionen erfüllen. Sie muss in der Lage sein:
- Auf viele verschiedene Schnittstellen zuzugreifen: http, mttp, Funknetzwerke, Fertigungsnetzwerke
- In mehreren Betriebsumgebungen zu laufen: vor allem POSIX-konform
- Mit wichtigen Protokollen und APIs zu arbeiten: einschließlich neuerer Protokolle mit REST API
- JDBC/ODBC-Datenbankkonnektivität bereitzustellen: für Legacy-Anwendungen und eine schnelle, pragmatische Verbindung zwischen Datenbanken
- Streaming-Daten zu verarbeiten: über Standards wie Spark und Kafka
Edge Data Fabric steht an einem Wendepunkt
Obwohl die Ursprünge des Edge Computing bis zu Content-Delivery-Netzwerken in den 1990er-Jahren zurückreichen, steht eine Edge Data Fabric nun kurz davor, einen entscheidenden Wendepunkt im Markt zu erreichen.
Die wichtigsten Treiber für Edge Computing haben sich verändert. Um diese gesamte Intelligenz und die gesamte Verarbeitung, die am Edge erfolgt, wirklich nutzen zu können, müssen wir uns von der Client-Server-Denkweise lösen. Die Zeiten der Zentralisierung von Daten an einem einzigen Standort sind vorbei. Der Großteil der Daten wird am Edge verbleiben.
Je mehr Intelligenz am Edge verfügbar ist, desto direkter werden automatisierte Routinen ausgeführt. Dabei werden Richtlinien für diese Automatisierung und Vorgaben dafür, was von den Routinen zur Ausnahmebehandlung getan werden soll, direkt eingebettet. Diese Routinen werden im Laufe der Zeit iterativ verbessert, sodass nichts manuell geschehen muss und der Prozess nicht zum Stillstand kommt. Das erreicht man, indem maschinelles Lernen (ML) an die jeweilige Richtlinie, den jeweiligen Prozess und den Umgang mit Ausnahmen gekoppelt wird. Dieses ML muss am Edge unbeaufsichtigt laufen.
Warum also nicht alles in die Cloud verlagern? Dafür wäre eine enorme Bandbreite erforderlich. Wir haben gelernt, dass jeder Sprung von 2G zu 3G, zu 4G, zu LTE und zu 5G mit einem entsprechenden Bandbreitenschub einhergeht. Jedes Mal verfügen wir über diese neue Bandbreite, und jedes Mal kann weniger in der Cloud erledigt werden. Denn jedes Mal wächst die Datenmenge schneller als die neue Bandbreite. Man könnte es das Bandbreitenparadoxon nennen.
Ein weiterer Grund, Daten nicht zurück in die Cloud zu verlagern, ist die Latenz. Selbst wenn man alle Daten dorthin übertragen könnte, müssten Entscheidungen in Echtzeit getroffen werden, wenn ein automatisierter Prozess ausgeführt werden soll. Die Entscheidung zu treffen und anschließend an den Ort des Geschehens zurückzusenden, würde zu viel Latenz verursachen – selbst bei der Geschwindigkeit von 5G.
Ein dritter Grund: Datenschutz und Sicherheit. Angesichts all der Risiken, denen Unternehmen ausgesetzt sind, besteht der beste Ansatz darin, zunächst eine historische Baseline aufzubauen, sie lokal auszuführen, die historische Baseline im Backend im Laufe der Zeit zu entfernen, sie auf die benötigten Daten zu beschränken und Daten so schnell wie möglich zu verwerfen. Wenn man so vorgehen will, warum sollte man dann überhaupt alles in die Cloud stellen? Dann kann man alles lokal erledigen.
Anwendungsfälle für Edge Data Fabric
Eine Edge Data Fabric wird offene Communities dabei unterstützen, Anwendungsfunktionen in Netzwerke und Systeme zu integrieren, die zuvor geschlossen waren. Dazu könnte gehören, 5G-Mobilfunknetze mit Multi-Access Edge Computing (MEC) auszustatten, um das Netzwerk für Drittentwickler und Integratoren zu öffnen, die Content-Delivery-Netzwerke aufbauen.
Eine Edge Data Fabric könnte außerdem Möglichkeiten für ein mehrschichtiges IoT-Netz erschließen – mit SPS auf einer Ebene, maschinellem Sehen auf einer weiteren und Robotik auf einer dritten –, sodass Daten zwischen diesen Ebenen ausgetauscht werden können. Damit Drittanbieter ein solches Netz konzipieren und als Produkt anbieten können, müsste eine Edge Data Fabric vorhanden sein.
Die Cloud Data Fabric an den Edge verlagern
Natürlich müssen historische Daten vom Edge zunächst an die Entwickler von ML-Algorithmen fließen, damit diese sie entwerfen, abstimmen und Drift-Anpassungen vornehmen können. Und wichtige Daten vom Edge, etwa Finanztransaktionen, werden ebenso in die zentrale Cloud fließen. Umgekehrt werden jedoch relativ kleine Datenmengen aus den zentralen Systemen an den Edge übertragen, etwa Teileinformationen oder andere Planungsdaten für deren Installation.
Das verdeutlicht die Fluidität von Daten und vor allem die Notwendigkeit, die Edge Data Fabric nahtlos mit der zentralen Cloud Data Fabric zu verbinden. Da Standards wie MEC Cloud-Technologien inzwischen an den Edge verlagern, sind die Aussichten für eine einfache Übertragung der Cloud Data Fabric an den Edge vielversprechend.
Über den Autor:
Lewis Carr, Senior Director of Product Marketing bei Actian