Alors que les services informatiques et les entreprises de tous les secteurs traitent des volumes toujours plus importants de données brutes, des processus ont été créés pour transformer ces données en informations utiles.
La fouille de données est le terme générique désignant ce processus. La fouille de données possède une riche histoire et, avec les avancées technologiques dans leur ensemble, a connu de nombreuses définitions différentes au fil des ans. Nous avons rassemblé des informations sur l’histoire de la fouille de données, ses principaux cas d’usage ainsi que son avenir. Il est clair que la fouille de données est un concept au cœur de la transformation numérique actuelle.
Qu’est-ce que la fouille de données ?
La fouille de données consiste à transformer des données brutes en informations exploitables pour l’entreprise. La méthode la plus courante consiste à utiliser diverses solutions logicielles de fouille de données qui recherchent des tendances dans les données.
La fouille de données est un sous-ensemble de l’analyse de données. En outre, la fouille de données est un élément fondamental de l’intelligence artificielle et de l’apprentissage automatique.
De nombreuses techniques ont été développées au fil des ans pour appliquer et mettre en pratique la fouille de données. Chaque technique repose sur l’idée fondamentale de suivre les tendances au sein d’un ensemble de données. À partir de là, vous pouvez affiner votre méthodologie de fouille de données en fonction de l’orientation de votre projet et de la profondeur de vos recherches.
Vous pouvez par exemple utiliser l’association pour établir simplement une corrélation entre plusieurs variables dépendantes. À l’inverse, vous pouvez aller plus loin et exploiter la détection des valeurs aberrantes et des anomalies pour passer au crible de vastes ensembles de données et repérer toute anomalie. Bien que ces techniques soient aujourd’hui largement utilisées, il est important de comprendre l’histoire de la fouille de données et l’évolution de ces techniques.
Histoire de la fouille de données
Étonnamment, le concept de fouille de données remonte jusqu’aux années 1700. Le théorème de Bayes et l’analyse de régression sont tous deux des exemples anciens d’identification de tendances dans des ensembles de données brutes. Bien que ces méthodes aient été utilisées pendant des siècles, le terme « data mining » est apparu pour la première fois en 1983, dans un article publié par l’économiste Michael C. Lovell.
À l’origine, Lovell et de nombreux autres économistes portaient un regard négatif sur cette pratique. Ils estimaient que la fouille de données moderne pouvait amener les économistes et les dirigeants d’entreprise à établir à tort des corrélations entre des données qui n’étaient pas nécessairement pertinentes. Quoi qu’il en soit, le phénomène a gagné en popularité et, dans les années 1990, les fournisseurs d’entrepôts de données ont utilisé le terme à des fins commerciales.
L’un des événements les plus importants de l’histoire de la fouille de données est le Cross-Industry Standard Process for Data Mining (CRISP-DM). Il s’agissait d’une norme créée par plusieurs entreprises en 1996 afin de standardiser le processus et d’éviter les problèmes soulevés par Lovell et ses pairs. Le processus comprend six étapes essentielles :
- Compréhension du métier
- Compréhension des données
- Préparation des données
- Modélisation
- Évaluation
- Déploiement
Ce modèle a continué d’être perfectionné et a même fait l’objet d’une version mise à jour par IBM. À mesure que les progrès technologiques se sont succédé, la fouille de données est devenue un processus plus complexe et plus flexible – et aussi beaucoup plus puissant. Sur le marché actuel, une fouille de données efficace est essentielle pour obtenir un avantage concurrentiel.
Le principal problème que la fouille de données cherche aujourd’hui à résoudre est l’analyse de l’abondance considérable de données produites. La fouille de données a connu des avancées majeures – et a même mis à rude épreuve les capacités des services informatiques – avec l’essor de l’apprentissage automatique et de l’intelligence artificielle.
Cas d’usage de la fouille de données
La fouille de données offre différents cas d’usage selon le secteur dans lequel elle est appliquée. En voici quelques exemples clés.
Santé
La fouille de données peut être utilisée pour mettre au jour les liens entre les maladies et l’efficacité des traitements. De manière générale, elle peut servir à identifier de nouveaux médicaments et à fournir des soins rapides aux patients. L’un des cas d’usage les plus efficaces de la fouille de données consiste à détecter les traitements appropriés en comparant les symptômes.
Elle peut également aider les entreprises de santé à détecter les fraudes. Les utilisateurs peuvent exploiter la détection des anomalies pour identifier les valeurs aberrantes dans les demandes de remboursement médicaux, qu’elles aient été soumises par des médecins, des laboratoires, des cliniques ou d’autres acteurs. Il est également possible d’utiliser la détection des valeurs aberrantes pour suivre les orientations et les prescriptions qui s’écartent de la norme.
La fouille de données est fréquemment utilisée pour détecter les fraudes dans le secteur de la santé. Par exemple, le Texas Medicaid Fraud and Abuse Detection System s’en est servi pour récupérer plus de 2 millions de dollars de fonds volés et identifier plus de 1 000 suspects.
Agences de renseignement
La fouille de données peut être très importante pour les agences de renseignement afin de déterminer les crimes à tous les niveaux. Cela inclut le blanchiment d’argent et diverses formes de trafic. Il s’agit d’un autre secteur qui dépend fortement de la détection des anomalies pour ses activités de fouille de données. Cela aide les agences de renseignement telles que le FBI à anticiper, prévenir et traiter comme il se doit différents crimes.
Dans le même ordre d’idées, la fouille de données pourrait être utilisée à des fins de cybersécurité. Les applications peuvent détecter les anomalies et apprendre à partir d’ensembles de données afin de prévenir de nouvelles attaques. De nombreuses entreprises d’IA spécialisées dans la cybersécurité travaillent actuellement au développement de ce type d’outils.
Marketing
La fouille de données est utilisée avec une efficacité remarquable dans les ventes et le marketing. Le principal cas d’usage consiste à détecter les tendances cachées dans les données d’achat. Cela peut aider les agences marketing et les entreprises à planifier et à lancer des campagnes personnalisées.
Les équipes commerciales peuvent exploiter les données clients pour les contacter par leurs canaux privilégiés. De manière générale, la fouille de données dans le marketing est surtout utile pour créer un parcours utilisateur globalement plus personnalisé. Cela peut concerner le parcours d’achat ou celui du service client. Un autre exemple consiste à analyser les produits qui sont souvent achetés ensemble. Les entreprises comprennent ainsi mieux à quoi ressemblent les offres globales et les paniers des utilisateurs.
Finance
Comme dans les exemples du marketing et des ventes, les banques et les établissements financiers peuvent exploiter la fouille de données pour comprendre et prédire le comportement des clients. Les établissements financiers utilisent généralement la fouille de données pour renforcer la fidélité globale de leurs clients.
Cela peut permettre aux entreprises de proposer des services pertinents à leurs clients. De la même manière que les agences de renseignement utilisent la fouille de données, les établissements financiers peuvent s’en servir pour identifier des opérations frauduleuses ou légitimes. Là encore, la détection des anomalies et des valeurs aberrantes joue un rôle majeur dans cette démarche.
Les analystes financiers peuvent également utiliser la fouille de données pour comprendre les tendances des achats et des ventes. Ils peuvent exploiter les données de vente pour suivre les pics et les creux. Des techniques avancées de fouille de données prennent en compte des facteurs externes, comme les jours fériés ou les promotions saisonnières, et plus précisément les facteurs qui ont motivé ces achats.
L’avenir de la fouille de données
Alors que les données clients continuent de croître, les dirigeants d’entreprise réfléchissent constamment à l’avenir de la fouille de données et le planifient. Voici quelques orientations et pistes que pourrait suivre la fouille de données au cours des prochaines années.
La fouille de données dans le secteur de la santé
Le secteur de la santé est historiquement à l’avant-garde de la fouille de données, qu’il exploite pour mieux comprendre les patients et les traitements. L’une de ses applications les plus efficaces concerne la détection de signaux, qui consiste à discerner des tendances utiles au sein d’informations aléatoires.
Avec l’arrivée de la pandémie, des progrès ont été réalisés dans les techniques de fouille de données spécialement destinées aux tests pharmaceutiques et aux processus d’essais cliniques. Il faut s’attendre à ce que la fouille de données trouve certaines de ses applications les plus ambitieuses dans ce domaine, certains data scientists l’utilisant pour analyser des séquences d’ADN.
Fouille de données intégrée
Historiquement, la fouille de données s’effectuait au moyen de logiciels propriétaires ou d’autres moyens externes. Désormais, des fonctionnalités de fouille de données intègrent un certain nombre de plateformes CRM SaaS à diverses fins, la principale étant la cybersécurité.
Cela est devenu encore plus important à l’ère de la transformation numérique. Alors que les parties prenantes clés et les dirigeants d’entreprise comprennent l’intérêt de moderniser leurs activités, les éditeurs de logiciels s’adaptent et créent des solutions low-code . Ces solutions, conjuguées au mouvement actuel de démocratisation des données, ouvrent les possibilités de la fouille de données à l’utilisateur quotidien.
La fouille de données intégrée présente plusieurs avantages. Le premier est qu’elle introduit la fouille de données et les données dans leur ensemble de manière plus conviviale auprès des employés. Grâce à cette exposition, les entreprises peuvent s’attendre à une montée en compétences générale de leurs employés. Le deuxième avantage tient au fait que les entreprises peuvent désormais obtenir une analyse des données plus étendue. En effet, la fouille de données intégrée ouvre l’analyse des données à des services extérieurs à l’équipe informatique.
Hyperautomatisation
Le concept d’hyperautomatisation inclura certainement des processus de fouille de données. L’hyperautomatisation désigne l’approche adoptée par certaines entreprises pour identifier et automatiser autant d’opérations métier et informatiques que possible. Cela signifie que les entreprises adoptent rapidement l’intelligence artificielle, l’apprentissage automatique et les logiciels d’automatisation robotisée des processus.
De nombreuses solutions de fouille de données exploitent déjà l’apprentissage automatique et l’intelligence artificielle pour traiter et analyser de grandes quantités de données. En fait, c’est l’une des raisons pour lesquelles l’intérêt pour le domaine de l’AIOps connaît une croissance rapide. L’hyperautomatisation et AIOps pourraient être les clés pour résoudre l’un des principaux problèmes auxquels la fouille de données est aujourd’hui confrontée : un volume de données trop important pour être traité par les humains sans assistance. Il ne fait aucun doute que la fouille de données assistée par l’AIOps jouera un rôle clé face à ce défi.