Apache Kafka gagne du terrain à mesure que les données en streaming se développent

Apache Kafka est une plateforme distribuée de streaming d’événements qui permet aux entreprises de surveiller et de gérer en temps réel des flux de données. Ce logiciel open source a été lancé en 2011, après avoir été développé initialement par LinkedIn, puis a évolué pour devenir une plateforme de streaming d’événements en temps réel en 2015. 

Kafka n’est pas la seule technologie de streaming d’événements ; elle est en concurrence sur le marché avec Amazon Kinesis. Mais Kafka a gagné une solide part de marché et constitue la base de plusieurs implémentations, notamment Red Hat AMQ Streams.

Des entreprises technologiques de premier plan comme LinkedIn, Netflix, Uber et d’autres ont démontré la pertinence commerciale de la combinaison de Kafka, des données en streaming, des pipelines de données, et de l’analytique métier. En 2015, l’utilisation du streaming d’événements de Kafka constituait encore une nouvelle approche de l’informatique, qui facilitait l’« ingestion » de gros volumes de données depuis des lacs de données. Cela permettait aux clients de combiner les applications d’entreprise avec la montée en charge du cloud, l’informatique distribuée et les microservices.

Kafka utilise un modèle de « publication-abonnement » qui relie les sources de données (capteurs IoT, mises à jour de l’atelier, événements liés aux ventes au détail, données des médias et du divertissement) aux récepteurs de données, en les désignant comme des « topics ». Les données, triées par topic, circulent dans des flux parallèles qui n’interfèrent pas les uns avec les autres. Le processus de streaming d’événements de Kafka utilise des « connecteurs » logiciels, qui relient les flux d’événements Kafka aux magasins de données et aux produits logiciels d’entreprise.

Répondre au besoin d’une surveillance constante

Les clients veulent prendre chaque jour, 24 heures sur 24, la « température des données » de leur activité en temps réel. Ils demandent de plus en plus aux logiciels Kafka de les aider dans cette tâche.

Cette stratégie informatique de streaming d’événements dans un monde centré sur le cloud gagne du terrain. Kafka est souvent un élément clé des initiatives d’automatisation intelligente des processus d’une entreprise, mises en œuvre par les produits logiciels de nombreux fournisseurs. La volonté des entreprises de tirer parti des données en mouvement pousse de nombreux clients à connecter leurs microservices cloud à des sources de données d’entreprise, allant des données de capteurs aux bases de données d’entreprise.

Les données en mouvement indiquent à l’entreprise où se situe l’« action » économique au sein de son organisation. L’application de données issues du streaming d’événements — provenant de l’atelier, de banques locales, de magasins et d’événements sportifs — aide les entreprises à ajuster leurs processus quotidiens afin d’obtenir de meilleurs résultats commerciaux. 

Les récents blocages de la chaîne logistique sont identifiés grâce à Kafka, qui permet de suivre en temps réel l’emplacement des cargaisons retardées. Mais les types d’applications pouvant être utilisés avec Kafka sont très variés et couvrent toute l’entreprise ainsi que le monde entier. Exemples :

• Optimisation adaptative des prix.
• Systèmes de recommandations intelligentes fondés sur les ventes.
• Systèmes de détection des anomalies dans les données permettant d’identifier la fraude et le vol.

Un marché des logiciels de streaming d’événements en forte croissance

Le marché mondial des logiciels de messagerie et de streaming d’événements connaît une croissance rapide, avec un taux de croissance annuel composé de 26,9 %. Selon IDC, il devrait passer de 1,6 milliard de dollars US en 2019 à 5,3 milliards de dollars US en 2025. 

« Alors que ce marché connaît une croissance rapide, celle du streaming d’événements est explosive », a déclaré Maureen Fleming, vice-présidente des programmes de recherche sur l’automatisation intelligente des processus chez IDC, à eWeek. 

Pourquoi cela se produit-il maintenant ? Qu’est-ce qui a changé depuis le précédent essor de Kafka en 2015, lorsqu’il a commencé à apparaître dans les produits des éditeurs de logiciels ? Certaines évolutions récentes de l’informatique d’entreprise exploitent Kafka de manière nouvelle et importante :

• Un accent accru sur le streaming d’événements en temps réel. Citons notamment l’identification et l’application des changements dans les données de vente au détail et les données financières, l’affinement de l’optimisation des prix et la mise à jour des décisions commerciales en fonction de nouveaux modèles de vente. Kafka connecte les données dans toute l’entreprise et chez les fournisseurs de cloud, les collecte et les transmet à d’autres types de logiciels fournissant une analytique approfondie des événements distribués.
• La prolifération des microservices. Le développement d’applications se concentre de plus en plus sur la création de microservices pour les clouds hybrides et les environnements multicloud. Ces applications cloud natives, qui s’appuient sur des conteneurs et l’orchestration Kubernetes, travaillent avec des données en mouvement avant de stocker les résultats des applications sous forme de données au repos dans les bases de données d’entreprise.
• L’importance croissante des déploiements multicloud. Les grandes entreprises présentes dans plusieurs régions géographiques doivent mettre à jour les journaux d’événements des bases de données pour l’analytique, les règles de conformité des données et une réponse plus rapide à l’évolution des conditions commerciales. Le modèle de publication-abonnement de Kafka prend en charge la réplication des données multicloud, contribuant ainsi à assurer la continuité d’activité en cas de panne et la reprise après sinistre.

L’accélération des migrations des clients vers le cloud leur donne l’occasion de repenser la manière dont les données sont distribuées dans leur entreprise — et de les utiliser différemment qu’auparavant.

Le streaming d’événements permet aux clients d’adopter de nouveaux « modèles » de gestion des données, notamment en augmentant la capacité grâce à la mise à jour parallèle des données, en prenant en charge l’analytique dynamique dans les clouds hybrides et les environnements multicloud, et en accélérant les résultats analytiques qui améliorent les performances de l’entreprise.

Connecter le streaming d’événements aux bases de données d’entreprise

À mesure que les migrations vers le cloud s’accélèrent, le monde des affaires prend conscience que le « front-end » de son paysage de données, associé aux données en mouvement et aux microservices cloud natifs, doit désormais être relié aux données d’entreprise du « back-end », c’est-à-dire aux données au repos stockées dans des centres de données, des lacs de données et des entrepôts de données.

« Les grandes entreprises cherchent de plus en plus à devenir davantage axées sur les événements », a déclaré Jeff Pollock, vice-président du développement produit chez Oracle Corp, à eWeek. « Elles veulent tirer parti des possibilités innovantes de travailler avec les données — au moment même où elles sont générées. 

« Des technologies comme Kafka rendent possibles nombre de ces cas d’utilisation de pointe », a-t-il ajouté, notamment le développement de microservices cloud natifs et de nouvelles applications. 

Un changement majeur dans l’univers du streaming d’événements est l’émergence de nouveaux rôles, également appelés « personas », parmi les utilisateurs des systèmes de streaming d’événements Kafka. Maintenant que les aspects fondamentaux du streaming de données sont bien compris, l’accent est davantage mis sur les applications et les outils pouvant être construits autour des fondations des logiciels de streaming d’événements. C’est pourquoi le langage de requête SQL, familier dans le domaine des données d’entreprise et largement utilisé par les data scientists, est intégré à de nombreux outils applicatifs conçus pour Kafka et le streaming d’événements.

La création de microservices dynamiques et cloud natifs nécessitera des boîtes à outils applicatives conviviales. 

« L’intérêt que nous observons depuis deux ou trois ans ne vient pas seulement des développeurs informatiques, mais aussi de cas d’utilisation dictés par les besoins métier », a déclaré George Vetticaden, vice-président de la gestion produit de l’unité Data-in-Motion de Cloudera, à eWeek. « Les développeurs d’applications, les data scientists, les data engineers, toutes ces catégories de développeurs veulent désormais exploiter Kafka. »

Un éventail plus large d’utilisations pour les logiciels pilotés par les événements

Cet éventail élargi d’utilisateurs exige un éventail plus large d’utilisations pour les logiciels pilotés par les événements. Depuis 2016, le marché est passé de la « simplification de l’ingestion des données » dans les lacs de données d’entreprise à une génération d’outils logiciels et d’applications qui collectent les données pour accélérer les décisions commerciales. 

De nouveaux modèles émergent pour le modèle de publication-abonnement du streaming d’événements, qui permet à plusieurs flux de données parallèles de circuler dans l’entreprise sans ralentir les mises à jour des données provenant des lacs de données d’entreprise et des sources de données distribuées. Du point de vue métier, de nombreux clients recherchent une évolutivité accrue pour les gros volumes de données et une meilleure prise en charge des applications multicloud.

 Les fournisseurs étendent les fonctionnalités de Kafka

Il est clair qu’aucun fournisseur unique ne contrôle la pile logicielle Kafka. Cependant, de nombreux fournisseurs proposent des produits et services logiciels compatibles avec Kafka, qui permettent à des mécanismes s’appuyant sur Kafka d’aider les clients à transformer l’informatique d’entreprise traditionnelle.

Oracle, Cloudera et Confluent, pour ne citer que trois exemples, ont étendu cette année les fonctionnalités compatibles avec Kafka afin de répondre à la complexité opérationnelle des clients adoptant le cloud hybride et le multicloud, et de la simplifier. Examinons les ajouts de chacun : 

Oracle

Golden Gate d’Oracle Le logiciel d’intégration de données Golden Gate a récemment été mis à jour et lancé comme service cloud entièrement géré et automatisé pour Oracle Cloud Infrastructure (OCI), le cloud public de deuxième génération d’Oracle. Cette dernière version de Golden Gate prend en charge le streaming d’événements Kafka, l’évolutivité dynamique en temps réel, une facilité d’utilisation accrue et l’automatisation de la mise à l’échelle de gros volumes de données.

Cloudera

Cloudera a récemment annoncé Cloudera Data Flow for the Public Cloud, un nouveau service cloud natif s’appuyant sur Kafka qui fournit du streaming de données en temps réel sur la Cloudera Data Platform (CDP). Cloudera Data Flow automatise les opérations complexes de flux de données tout en ajustant automatiquement le volume des événements de données en streaming dans les clouds hybrides des clients.

Confluent

Confluent Inc. a annoncé une stratégie multicloud étendue, avec le logiciel de gestion des données Confluent Cloud qui s’exécute sur des clouds publics, notamment Amazon Web Services (AWS), Microsoft Azure et Google Cloud Platform (GCP). Confluent a également annoncé un partenariat stratégique avec IBM, qui permet à IBM de revendre les logiciels Confluent Platform et IBM Cloud Pak, avec un support client unifié assuré par IBM et Confluent.

Quelle est la prochaine étape pour Kafka ?

À l’approche de 2022, la volonté de réunir les données d’entreprise et les données cloud s’accélère, et de nombreux clients utilisent Apache Kafka à cette fin. Ils utilisent Kafka pour déplacer les données d’événements dans toute l’entreprise et le cloud, accélérant les décisions fondées sur les données grâce à l’urgence impérieuse du « maintenant » intégrée aux services cloud reposant sur des données distribuées. 

Les données en temps réel, qui circulent dans l’entreprise selon un modèle de publication-abonnement, s’imposent comme une approche importante pour transformer l’infrastructure d’entreprise à l’ère des microservices et des déploiements multicloud. 

« Kafka est l’un des principaux outils de la panoplie qui peuvent aider les organisations à devenir une entreprise davantage en temps réel », a déclaré Pollock. « Et je pense que cela se trouve au cœur de nombreuses initiatives de transformation numérique que les DSI entreprennent. »

Voir aussi : Qu’est-ce que l’analytique des données ? Guide des informations issues des données