Data Mining

L’exploration de données consiste à découvrir des motifs utiles dans de grands jeux de données, comme des éléments qui apparaissent ensemble, des groupes naturels, des règles prédictives et des enregistrements inhabituels, à l’aide de statistiques, de l’apprentissage automatique et de techniques de base de données. Formellement, l’exploration de données est l’étape d’analyse de la découverte de connaissances dans les bases de données (KDD), décrite en 1996 par Usama Fayyad, Gregory Piatetsky-Shapiro et Padhraic Smyth comme une suite d’étapes : sélection des données, prétraitement des données, transformation, exploration et interprétation des résultats.

Processus d’exploration de données#

Un modèle de processus largement utilisé est CRISP-DM, le processus standard intersectoriel d’exploration de données, présenté pour la première fois en 1999 par un consortium comprenant Teradata, Daimler et NCR. Ses six phases s’enchaînent de façon itérative chaque fois qu’une phase ultérieure révèle une lacune dans une phase précédente :

La préparation des données, qui comprend le nettoyage des données, la fusion de sources et l’ingénierie des caractéristiques, est généralement la phase la plus longue. La modélisation renvoie l’équipe à cette étape lorsqu’un motif s’avère être un artefact dû à des enregistrements manquants ou dupliqués.

Techniques fondamentales#

• Apprentissage de règles d’association : trouve des éléments ou des événements qui se produisent ensemble, comme dans l’analyse du panier d’achat. L’algorithme Apriori de Rakesh Agrawal et Ramakrishnan Srikant, datant de 1994, a rendu cette méthode pratique sur de grandes bases de données transactionnelles.
• Regroupement avec k-means ou DBSCAN : regroupe les enregistrements similaires sans étiquettes, par exemple des segments de clientèle ou des images semblables, dans le cadre de l’apprentissage non supervisé.
• Classification avec des arbres de décision : apprend, à partir d’un historique étiqueté, des règles qui attribuent les enregistrements à des catégories connues, par exemple pour approuver ou signaler une demande de prêt.
• Détection d’anomalies : signale les enregistrements qui diffèrent nettement des autres, comme des transactions frauduleuses par carte ou une machine dont les relevés de capteurs s’écartent de la normale.
• Exploration de motifs séquentiels : trouve des motifs ordonnés, comme les parcours de pages qui mènent le plus souvent à un achat.

Les règles d’association sont évaluées à l’aide de trois nombres. Le support correspond à la proportion de transactions contenant les deux éléments, la confiance à la proportion de transactions contenant l’élément A qui contiennent aussi l’élément B, et le lift divise la confiance par la fréquence de B seul. Un lift supérieur à 1 indique donc que A et B apparaissent ensemble plus souvent que ne le laisserait prévoir le hasard. Cet exemple évalue chaque paire de produits dans huit paniers d’achat avec pandas :

from itertools import permutations

import pandas as pd

# Eight shopping baskets, one column per product
baskets = pd.DataFrame(
    [[1, 1, 0, 1], [1, 1, 0, 0], [0, 1, 1, 0], [1, 1, 1, 1], [1, 0, 0, 1], [0, 0, 1, 0], [1, 1, 0, 1], [0, 1, 1, 0]],
    columns=["bread", "butter", "milk", "jam"],
).astype(bool)

# Score every rule "A -> B" and keep frequent rules that beat chance
for a, b in permutations(baskets.columns, 2):
    support = (baskets[a] & baskets[b]).mean()  # share of baskets with both items
    confidence = support / baskets[a].mean()  # share of A baskets that also hold B
    lift = confidence / baskets[b].mean()  # confidence relative to B's base rate
    if support >= 0.25 and lift > 1:
        print(f"{a} -> {b}: support {support:.2f}, confidence {confidence:.2f}, lift {lift:.2f}")

Le résultat affiche quatre règles. La règle pain → beurre a une confiance élevée de 0,80, mais un lift de seulement 1,07, car le beurre se trouve déjà dans trois paniers sur quatre. En revanche, la règle pain → confiture a la même confiance et un lift de 1,60. La règle lait → beurre a une confiance de 0,75 et un lift exactement égal à 1,00 ; le filtre l’écarte donc.

Exploration de données en vision par ordinateur#

Les collections d’images et de vidéos sont explorées pour trouver les exemples qui comptent le plus pour un modèle. L’exploration des faux positifs difficiles sélectionne les régions d’arrière-plan qu’un détecteur classe à tort comme des objets et les utilise à nouveau pour l’entraînement ; l’apprentissage actif explore des ensembles non étiquetés pour trouver les images sur lesquelles le modèle est le moins sûr. L’exploration des journaux de détection d’un système déployé révèle des types de défauts récurrents sur une ligne de production ou les heures de pointe d’un magasin, et les représentations vectorielles permettent aux équipes de regrouper des millions d’images selon leur contenu pour repérer les doublons et les lacunes.

Ultralytics Platform explore les jeux de données de cette façon avec son panneau Clustering : il calcule une représentation vectorielle pour chaque image et projette le jeu de données sur un nuage de points interactif en 2D où les images visuellement similaires sont proches les unes des autres. Les utilisateurs peuvent ainsi colorer les points par partition, classe ou groupe, repérer les doublons et les valeurs aberrantes, puis sélectionner une zone au lasso pour examiner, réétiqueter ou déplacer ces images.

Exploration de données et termes connexes#

• Apprentissage automatique : crée des modèles qui se généralisent à de nouvelles données. L’exploration de données utilise souvent les mêmes algorithmes, mais vise à décrire les motifs présents dans les données existantes.
• Analyse de données : pratique plus large qui consiste à répondre à des questions à l’aide de données et qui inclut l’exploration de données, ainsi que la création de rapports et l’interprétation.
• Visualisation de données : présente graphiquement les données et les motifs découverts afin que les personnes puissent les comprendre.
• Récupération de données sur le Web : collecte des données sur des sites Web. Dans le langage courant, cette pratique est parfois appelée exploration de données, mais au sens technique, l’exploration est l’analyse qui suit la collecte.