Le data mesh est une approche décentralisée de la gestion des données, dans laquelle les données elles-mêmes restent au sein du domaine métier qui les a collectées. Pourtant, la technologie du data mesh permet à des utilisateurs autorisés, situés dans des endroits différents, d’accéder à ces données sans avoir à les déplacer ni à les télécharger depuis leur emplacement actuel.
Le data mesh n’est clairement pas un silo. En effet, il est au cœur de l’effort de transformation numérique visant à diffuser largement les données. Les clients SQL de toute l’organisation peuvent les interroger à l’aide d’un moteur de requêtes distribué. Au-dessus de ces données métier cohérentes et détenues en propre se trouve le moteur de requêtes distribué, qui peut y accéder et les unifier à des fins d’interopérabilité, au lieu de les stocker de manière centralisée.
Autrement dit, un data mesh démocratise les données. Il crée des « jeux de données comme produits », une offre standardisée accessible à toute personne autorisée. Il est sécurisé, conforme aux réglementations locales et soudain bien plus évolutif.
En bref, avec une architecture de data mesh, l’utilisateur du domaine métier passe en tête de la liste des priorités. Cela lui permet de prendre en charge les décisions concernant les données qui peuvent ou non être disponibles, en le libérant des contraintes coûteuses de l’infrastructure qui empêchent l’organisation d’accéder à la sagesse accumulée dans l’ensemble de ses données.
Voir aussi : Guide de la transformation numérique : définition, types et stratégie
Défis et potentiel du data mesh
Voici une prédiction : d’ici 2025, ceux d’entre nous qui évoluent dans le monde en perpétuelle ébullition de l’agrégation, du transport, de l’ETL, du stockage, de la business intelligence et de l’accessibilité des données considéreront le data mesh comme nous considérons aujourd’hui le cloud computing. Il s’agit d’une stratégie qui a simultanément réduit les frais généraux (temps et argent), diminué les tâches fastidieuses (maintenance, mises à niveau, sauvegardes) et fourni aux utilisateurs finaux des capacités qui n’existaient pas auparavant.
En bref, le data mesh est une évolution technologique dont les avantages techniques et métier le rendent à la fois évident et inévitable. Quels problèmes ce paradigme en évolution cherche-t-il à résoudre ?
Voir aussi : Techniques d’exploration de données
Trop de données provenant d’un trop grand nombre de sources
Le tsunami de données qui déferle à mesure que les entreprises adoptent une transformation numérique complète est vertigineux. Les points de données affluent de manière dynamique, à l’échelle mondiale, avec un niveau de granularité jamais envisagé auparavant.
Et si les données financières et opérationnelles historiques ont toujours été utilisées comme outil analytique pour guider les décisions métier des dirigeants, nous voyons désormais la BI fournir également aux équipes marketing, commerciales et de développement produit des informations décisives fondées sur des données transactionnelles disponibles en permanence. Ces équipes en contact avec les clients peuvent enfin savoir instantanément ce qui fonctionne et ce qui ne fonctionne pas, en se basant sur chaque action effectuée par les clients.
C’est un pouvoir extraordinaire, mais la quantité de données qu’elles doivent exploiter est difficile à collecter, stocker, interroger et gérer.
Voir aussi : Tendances de l’analytique des données
Lacs de données
Personne ne prétendra que les données cloisonnées sont une bonne chose ; des centaines de start-up ont vu le jour en proposant des solutions pour faire sauter ces silos. Mais alors que l’objectif de la dernière décennie était d’unifier les sources de données dans un référentiel unique afin d’obtenir une « source unique de vérité », ce référentiel semble soudain — et étonnamment — relever de la stratégie d’hier. Pourquoi ? Parce qu’il introduit plusieurs limites tandis que cette immense source unique s’enfle jour après jour.
Un data mesh contribue à résoudre ce problème en réduisant le caractère fermé d’un silo. Il permet aux experts de toute l’organisation d’accéder aux données.
Gestion des données d’entreprise à grande échelle
De toute évidence, la gestion des données d’entreprise à grande échelle est complexe. Il est notamment difficile d’intégrer des données en temps réel et en flux continu à des données statiques ou historiques.
La transition des données vers et depuis le lac de données à partir de sources en périphérie — ainsi que la gestion de leur stockage une fois arrivées — consomme beaucoup de temps et de ressources, et coûte très cher. Les goulets d’étranglement se multiplient et l’agilité métier diminue.
Une collection unique et agrégée de données ne peut pas facilement se conformer aux exigences de résidence des données et aux réglementations relatives à la protection de la vie privée, qui varient d’un pays à l’autre ; la gouvernance des données est géographiquement diverse, contrairement au matériel.
Enfin — et c’est souvent l’aspect le plus pénible d’un lac de données hypertrophié — les surcoûts liés aux requêtes ne passent pas à l’échelle. À mesure que davantage d’utilisateurs doivent interroger la même base de données, ajouter des sources ou manipuler les données existantes, les temps de réponse s’allongent. Cela suppose, bien entendu, que le lac de données intègre une véritable virtualisation des données pour permettre de manière fluide à toute personne autorisée de se connecter à n’importe quelle source de données ou plateforme, une préoccupation importante selon notre récente enquête.
En bref, mettre tous ses œufs dans le même panier peut avoir son intérêt, mais ce panier sera bien lourd et difficile à transporter… ou pour y retrouver le bon œuf. Voici le data mesh. Il conserve les avantages d’un lac de données centralisé et standardisé tout en introduisant l’évolutivité et l’accès qui font actuellement défaut. On peut le considérer comme un « lac de données distribué ».
Voir aussi : Meilleurs outils d’analytique des données
Comment le data mesh donne-t-il plus de pouvoir aux utilisateurs ?
Un data mesh offre des analyses automatisées, complètes et instantanées à grande échelle. Les data scientists — ainsi que les consommateurs de données disposant de moins d’expertise et de formation — pourront désormais accéder aux données métier afin de mener leurs propres analyses, axées sur leurs besoins métier spécifiques.
Cette stratégie en libre-service, avec son point de contrôle d’accès unique, représente pour la première fois un plan de gestion des données centré sur les personnes : un moyen plus rapide et plus efficace d’obtenir des réponses sans solliciter l’équipe DevOps ni dépendre de ses disponibilités. Il s’agit d’un avantage majeur pour les équipes data.
Zhamak Dehghani, directrice des technologies émergentes chez Thoughtworks, à qui l’on attribue la création de ce paradigme en 2019 lors d’une conférence O’Reilly (elle lui a donné son nom plus tard, lorsqu’elle a littéralement écrit le livre consacré au sujet), le décrit comme un modèle hybride : « une approche sociotechnique décentralisée — qui s’intéresse à la conception organisationnelle et à l’architecture technique ».
L’accès stimule les insights
Le data mesh constitue également, dans un certain sens, l’étape suivante du modèle « n’importe qui, n’importe où » que nous en sommes venus à attendre du cloud computing et de la virtualisation des données.
Les applications et outils d’accès propres à un domaine métier sont généralement conçus pour ses utilisateurs et leurs besoins spécifiques. Et dans une situation idéale, ses données sont locales, de sorte que la latence est minimale.
Mais si des membres d’une unité métier cherchent à accéder aux données d’une autre, ils sont limités par leurs propres frameworks. S’ils accèdent effectivement à ce lac de données centralisé, son emplacement distant (et sa taille, dont la majeure partie ne correspond pas aux données de leur unité métier) augmente la latence.
Avec un data mesh, il est plus facile que jamais de faire interagir les systèmes, de partager leurs données locales et de rendre les résultats accessibles à un groupe diversifié d’utilisateurs métier. Il peut s’agir d’équipes totalement indépendantes (par exemple les RH et la R&D) ou d’équipes transversales partageant les mêmes objectifs et souvent les mêmes données (l’assurance qualité avec la gestion des produits, ou les ventes avec le marketing). Cette nouvelle transparence sans effort promet de nouveaux niveaux de productivité.
Voir aussi : Meilleurs logiciels de business intelligence
Quels sont les trois types de data mesh ?
À mesure que cette approche s’impose, surveillez l’apparition de trois types, ou « variantes », de data mesh. La plupart des entreprises en utiliseront une combinaison :
- Fondé sur des fichiers : les données sont compilées, regroupées et simplement fournies sous la forme d’un fichier statique. C’est l’approche la plus proche du simple stockage cloud actuel, mais elle s’inscrira dans le nouveau modèle universel de partage pair à pair.
- Orienté événements : quel que soit l’unité métier ou le service concerné, les consommateurs peuvent « s’abonner » à des alertes lorsque les données changent d’une manière susceptible de les intéresser. Là encore, ce n’est pas sorcier, mais cette possibilité n’existe qu’une fois les données auparavant cloisonnées exposées et accessibles dans toute l’organisation.
- Compatible avec les requêtes : clairement la variante la plus puissante, elle permet à tout utilisateur de soumettre des requêtes fédérées couvrant plusieurs bases de données et de dégager des insights uniquement possibles en combinant les résultats. C’est le Graal qui offre de nouvelles capacités aux utilisateurs finaux et quelques jours de congés accumulés aux data scientists.
Gardez à l’esprit que le data mesh ne concerne pas uniquement les employés de l’entreprise. L’utilisateur final ressentira la rapidité d’une réponse lorsque les données proviendront d’une source optimisée, dédiée et distribuée, plutôt que d’une source massive et polyvalente. En retour, les données de parcours de navigation et les données web fournies par ces utilisateurs peuvent être instantanément absorbées et traitées comme une boucle de rétroaction pure afin d’améliorer les performances, les fonctionnalités des produits et, à terme, les bénéfices.
Voir aussi : Principales entreprises de transformation numérique
Favoriser la démocratisation des données
Même si la mise en œuvre et l’adoption à grande échelle ne se feront pas du jour au lendemain, de nombreuses organisations adoptent une architecture de data mesh pour démocratiser leurs données et les faire évoluer à grande échelle.
Cette évolution impose aux équipes data de devenir véritablement autonomes : elles devront ingérer et nettoyer elles-mêmes les données, créer des pipelines ETL (et les maintenir), ainsi que gérer le contrôle des accès. Dans le même temps, plus elles investissent dans ces étapes dont elles ont la pleine maîtrise, meilleurs seront les résultats escomptés. Et oui, cela signifie l’avènement d’une nouvelle ère « chaleureuse et bienveillante » de partage mutuellement bénéfique, chaque domaine aidant les autres en transformant simplement ses données et en les proposant à sa communauté.
Je conclurai par une réflexion de Dehghani, qui décrit la valeur globale d’une architecture de data mesh distribuée, avec des données détenues par les domaines sous un système d’accès centralisé : « Au cours des dernières décennies, les technologies qui ont dépassé les limites en matière d’échelle opérationnelle ont un point commun : elles ont réduit au minimum le besoin de coordination et de synchronisation. »
À propos de l’auteur :
Ori Reshef est le vice-président des produits chez Varada.