Apache Kafka ist eine verteilte Event-Streaming-Plattform, mit der Unternehmen Daten-Feeds in Echtzeit überwachen und verwalten. Diese Open-Source-Software wurde 2011 nach ihrer ursprünglichen Entwicklung durch LinkedIn veröffentlicht und entwickelte sich bis 2015 zu einer Echtzeit-Event-Streaming-Plattform.
Kafka ist nicht die einzige Event-Streaming-Technologie; auf dem Markt konkurriert sie mit Amazon Kinesis. Aber Kafka hat sich einen soliden Marktanteil erarbeitet und bildet die Grundlage für mehrere Implementierungen, darunter Red Hat AMQ Streams.
Bekannte Technologieunternehmen wie LinkedIn, Netflix, Uber und andere haben den geschäftlichen Nutzen der Kombination von Kafka, Streaming-Daten, Datenpipelines und Business Analytics belegt. 2015 war der Einsatz von Kafka für Event-Streaming noch ein neuer Ansatz in der Datenverarbeitung, der die Aufnahme großer Datenmengen aus Data Lakes vereinfachte. Dadurch konnten Kunden Unternehmensanwendungen mit der skalierbaren, verteilten Datenverarbeitung und den Microservices der Cloud kombinieren.
Kafka nutzt ein „Publish-and-Subscribe“-Modell, das Datenquellen (IoT-Sensoren, Aktualisierungen aus der Fabrikhalle, Einzelhandels-Verkaufsereignisse, Medien- und Unterhaltungsdaten) mit Datenempfängern verknüpft und sie als „Topics“ kennzeichnet. Die nach Topics sortierten Daten fließen in parallelen Datenströmen, die sich nicht gegenseitig beeinflussen. Der Kafka-Prozess für Event-Streaming nutzt Software-„Connectoren“, die Kafka-Ereignisströme mit Datenspeichern und Softwareprodukten von Unternehmen verbinden.
Der Bedarf an kontinuierlicher Überwachung
Kunden wollen täglich und rund um die Uhr die „Datentemperatur“ ihres Unternehmens in Echtzeit erfassen. Zunehmend bitten sie Kafka-Software, sie bei dieser Aufgabe zu unterstützen.
Diese IT-Strategie für Event-Streaming in einer cloudzentrierten Welt gewinnt an Bedeutung. Kafka ist häufig ein zentrales Element in den Initiativen zur intelligenten Prozessautomatisierung eines Unternehmens, wie sie von den Softwareprodukten vieler Anbieter umgesetzt werden. Das Bestreben, Daten in Bewegung zu nutzen, veranlasst viele Kunden, ihre Cloud-Microservices mit Unternehmensdatenquellen zu verbinden – von Sensordaten bis hin zu Unternehmensdatenbanken.
Daten in Bewegung zeigen dem Unternehmen, wo in seiner Organisation die wirtschaftliche „Action“ stattfindet. Die Anwendung von Event-Streaming-Daten – aus der Fabrikhalle, lokalen Banken, Einzelhandelsgeschäften und Sportveranstaltungen – hilft Unternehmen, ihre täglichen Prozesse anzupassen und bessere Geschäftsergebnisse zu erzielen.
Aktuelle Lieferkettenengpässe werden mithilfe von Kafka erkannt, indem die Echtzeitposition verspäteter Frachtsendungen verfolgt wird. Die Arten von Anwendungen, die mit Kafka eingesetzt werden können, sind jedoch sehr vielfältig und reichen durch das gesamte Unternehmen und über die ganze Welt. Beispiele sind:
- Adaptive Preisoptimierung.
- Intelligente Empfehlungssysteme auf Basis von Verkaufsdaten.
- Erkennungssysteme für Datenanomalien, die Betrug und Diebstahl identifizieren.
Schnell wachsender Markt für Event-Streaming-Software
Der weltweite Markt für Messaging- und Event-Streaming-Software wächst mit einer rasanten durchschnittlichen jährlichen Wachstumsrate von 26,9 %. Laut IDC soll er von 1,6 Milliarden US-Dollar im Jahr 2019 auf 5,3 Milliarden US-Dollar im Jahr 2025 wachsen.
„Während dieser Markt schnell wächst, ist das Wachstum beim Event-Streaming explosionsartig“, sagte Maureen Fleming, Programm-Vizepräsidentin für die Forschung zu intelligenter Prozessautomatisierung bei IDC, gegenüber eWeek.
Warum geschieht das gerade jetzt? Was hat sich seit Kafkas früherem Wachstumsschub im Jahr 2015 verändert, als Kafka erstmals in den Produkten von Softwareanbietern auftauchte? Einige aktuelle Veränderungen in der Unternehmens-IT nutzen Kafka auf neue und wichtige Weise:
- Stärkere Konzentration auf Echtzeit-Event-Streaming. Beispiele sind die Erkennung und Anwendung von Änderungen in Einzelhandels- und Finanzdaten, die Feinabstimmung der Preisoptimierung und die Aktualisierung von Geschäftsentscheidungen auf Basis neuer Verkaufsmuster. Kafka verbindet Daten im gesamten Unternehmen und Cloud-Anbieter, sammelt die Daten und speist sie in andere Softwaretypen ein, die umfassende Analysen der verteilten Ereignisse ermöglichen.
- Verbreitung von Microservices. Die Anwendungsentwicklung konzentriert sich zunehmend auf die Erstellung von Microservices für hybride Clouds und Multiclouds. Diese cloudnativen Anwendungen, die Container und Kubernetes-Orchestrierung nutzen, verarbeiten Daten in Bewegung, bevor sie die Anwendungsergebnisse als ruhende Daten in Unternehmensdatenbanken speichern.
- Zunehmende Bedeutung von Multicloud-Bereitstellungen. Große Unternehmen mit Standorten in mehreren geografischen Regionen müssen Datenbank-Ereignisprotokolle für Analysen, Regeln zur Datenkonformität und eine schnellere Reaktion auf sich ändernde Geschäftsbedingungen aktualisieren. Kafkas Publish-and-Subscribe-Modell unterstützt die Datenreplikation über mehrere Clouds hinweg und trägt so dazu bei, die Geschäftskontinuität bei Ausfällen und der Notfallwiederherstellung sicherzustellen.
Das sich beschleunigende Tempo der Cloud-Migrationen gibt Kunden die Möglichkeit, die Verteilung von Daten in ihrem gesamten Unternehmen neu zu überdenken – und sie anders als bisher zu nutzen.
Event-Streaming ermöglicht Kunden den Übergang zu neuen „Mustern“ der Datenverwaltung, darunter die Skalierung der Kapazität durch parallele Datenaktualisierungen, die Unterstützung dynamischer Analysen über hybride Clouds und Multiclouds hinweg sowie die Beschleunigung von Analyseergebnissen, die Geschäftsergebnisse verbessern.
Verknüpfung von Event-Streaming mit Unternehmensdatenbanken
Mit der Beschleunigung der Cloud-Migrationen wird der Geschäftswelt klar, dass das „Frontend“ ihrer Datenlandschaft, das mit Daten in Bewegung und cloudnativen Microservices verbunden ist, nun mit den „Backend“-Unternehmensdaten verknüpft werden muss. Dabei handelt es sich um ruhende Daten, die in Rechenzentren, Data Lakes und Data Warehouses.
„Große Unternehmen wollen zunehmend stärker ereignisgesteuert arbeiten“, sagte Jeff Pollock, Vizepräsident für Produktentwicklung bei Oracle Corp, gegenüber eWeek. „Sie wollen innovative Möglichkeiten nutzen, mit Daten zu arbeiten – während die Daten entstehen.
„Technologien wie Kafka ermöglichen viele dieser hochmodernen Anwendungsfälle“, einschließlich der Entwicklung cloudnativer Microservices und neuer Anwendungen, fügte er hinzu.
Eine große Veränderung in der Welt des Event-Streamings besteht darin, dass neue Rollen, auch „Personas“ genannt, als Benutzer von Kafka-Event-Streaming-Systemen entstanden sind. Nachdem die technischen Grundlagen des Streaming von Daten inzwischen gut verstanden sind, liegt der Fokus stärker auf Anwendungen und Tools, die auf dem Fundament der Event-Streaming-Software aufgebaut werden können. Deshalb wird die vertraute SQL-Abfragesprache für Unternehmensdaten – die von Datenwissenschaftlern weithin genutzt wird – in viele Anwendungstools integriert, die für den Einsatz mit Kafka und Event-Streaming konzipiert sind.
Für die Entwicklung dynamischer, cloudnativer Microservices sind benutzerfreundliche Anwendungs-Toolkits erforderlich.
„Das Interesse, das wir in den vergangenen ein bis zwei Jahren beobachten, kommt nicht nur von IT-Entwicklern, sondern auch aus geschäftsgetriebenen Anwendungsfällen“, sagte George Vetticaden, Vizepräsident für Produktmanagement der Geschäftseinheit Data-in-Motion von Cloudera, gegenüber eWeek. „Anwendungsentwickler, Datenwissenschaftler, Dateningenieure – all diese Entwicklergruppen wollen jetzt auf Kafka zugreifen.“
Breiteres Einsatzspektrum für ereignisgesteuerte Software
Diese breitere Nutzergruppe verlangt nach einem breiteren Einsatzspektrum für ereignisgesteuerte Software. Seit 2016 hat sich der Markt von der „einfacheren Datenaufnahme“ in Unternehmens-Data-Lakes hin zu einer Generation von Softwaretools und Anwendungen entwickelt, die Daten für schnellere Geschäftsentscheidungen nutzbar machen.
Für das Publish-and-Subscribe-Modell des Event-Streamings entstehen neue Muster. Es ermöglicht, mehrere parallele Datenströme durch das Unternehmen zu bewegen, ohne Datenaktualisierungen aus Unternehmens-Data-Lakes und verteilten Datenquellen zu verlangsamen. Aus geschäftlicher Sicht wünschen sich viele Kunden eine höhere Skalierbarkeit für große Datenmengen und eine bessere Unterstützung von Multi-Cloud-Anwendungen.
Anbieter erweitern die Kafka-Funktionalität
Es ist klar, dass kein einzelner Anbieter den Kafka-Software-Stack kontrolliert. Viele Anbieter stellen jedoch Kafka-fähige Softwareprodukte und Dienste bereit, die von Kafka unterstützte Mechanismen ermöglichen, mit denen Kunden die traditionelle Unternehmens-IT transformieren können.
Oracle, Cloudera und Confluent – um drei Beispiele zu nennen – haben in diesem Jahr die Kafka-Funktionalität erweitert, um die betriebliche Komplexität für Kunden zu bewältigen und zu vereinfachen, die hybride Clouds und Multiclouds einführen. Sehen wir uns an, was die einzelnen Anbieter hinzugefügt haben:
Oracle
Oracle GoldenGate-Software zur Datenintegration wurde kürzlich aktualisiert und als vollständig verwalteter und automatisierter Cloud-Service für die Oracle Cloud Infrastructure (OCI), die Public Cloud der zweiten Generation von Oracle, veröffentlicht. Die neueste Version von GoldenGate unterstützt Kafka-Event-Streaming, dynamische Skalierbarkeit in Echtzeit, eine verbesserte Benutzerfreundlichkeit und die Automatisierung der Skalierung großer Datenmengen.
Cloudera
Cloudera hat kürzlich Cloudera Data Flow for the Public Cloud, einen neuen cloudnativen Dienst angekündigt, der Kafka nutzt und Echtzeit-Daten-Streaming auf der Cloudera Data Platform (CDP) bereitstellt. Cloudera Data Flow automatisiert komplexe Datenflussvorgänge und skaliert das Volumen der Streaming-Datenereignisse über die hybriden Clouds der Kunden automatisch.
Confluent
Confluent Inc. hat eine erweiterte Multicloud-Strategie angekündigt, mit Confluent Cloud-Software zur Datenverwaltung, die über Public Clouds wie Amazon Web Services (AWS), Microsoft Azure und Google Cloud Platform (GCP) läuft. Confluent kündigte außerdem eine strategische Partnerschaft mit IBM an, die IBM den Wiederverkauf der Confluent Platform und der IBM Cloud Pak-Software mit einheitlichem Kundensupport durch IBM und Confluent ermöglicht.
Wie geht es mit Kafka weiter?
Während wir uns dem Jahr 2022 nähern, beschleunigt sich das Bestreben, Unternehmensdaten und Cloud-Daten zusammenzuführen, und viele Kunden nutzen Apache Kafka genau dafür. Sie verwenden Kafka, um Ereignisdaten im gesamten Unternehmen und in der Cloud zu bewegen und datenbasierte Entscheidungen mit der unbedingten Dringlichkeit des „Jetzt“ zu beschleunigen, die in Cloud-Services auf Basis verteilter Daten integriert wird.
Echtzeitdaten, die sich nach einem Publish-and-Subscribe-Modell durch das Unternehmen bewegen, entwickeln sich zu einem wichtigen Ansatz für die Transformation der Unternehmensinfrastruktur im Zeitalter von Microservices und Multi-Cloud-Bereitstellungen.
„Kafka ist eines der wichtigsten Werkzeuge im Werkzeugkasten, mit denen Unternehmen sich zu einem stärker echtzeitbasierten Geschäft entwickeln können“, sagte Pollock. „Und ich denke, das steht im Mittelpunkt vieler Initiativen zur digitalen Transformation, die CIOs in Angriff nehmen.“
Siehe auch: Was ist Datenanalyse? Ein Leitfaden zu Dateneinblicken