Data Mining

Data Mining ist der Prozess, nützliche Muster in großen Datensätzen zu entdecken, etwa gemeinsam auftretende Elemente, natürliche Gruppierungen, Vorhersageregeln und ungewöhnliche Datensätze. Dabei kommen Statistik, maschinelles Lernen und Datenbanktechniken zum Einsatz. Formal ist Data Mining der Analyseschritt der Wissensentdeckung in Datenbanken (KDD), die Usama Fayyad, Gregory Piatetsky-Shapiro und Padhraic Smyth 1996 als eine Abfolge aus Datenauswahl, Datenvorverarbeitung, Transformation, Data Mining und Interpretation der Ergebnisse beschrieben.

Der Data-Mining-Prozess#

Ein weitverbreitetes Prozessmodell ist CRISP-DM, der branchenübergreifende Standardprozess für Data Mining, den ein Konsortium mit Teradata, Daimler und NCR erstmals 1999 vorstellte. Die sechs Phasen greifen ineinander, sobald eine spätere Phase eine Lücke in einer früheren aufdeckt:

Die Datenaufbereitung, zu der Datenbereinigung, das Zusammenführen von Quellen und das Feature Engineering gehören, ist meist die längste Phase. Die Modellierung führt das Team zu ihr zurück, wenn sich ein Muster als Folge fehlender oder doppelter Datensätze herausstellt.

Kerntechniken#

• Lernen von Assoziationsregeln: Findet Elemente oder Ereignisse, die gemeinsam auftreten, wie bei der Warenkorbanalyse. Der Apriori-Algorithmus von Rakesh Agrawal und Ramakrishnan Srikant aus dem Jahr 1994 machte dies für große Transaktionsdatenbanken praktikabel.
• Clustering mit k-means oder DBSCAN: Gruppiert ähnliche Datensätze ohne Labels, etwa Kundensegmente oder ähnliche Bilder, als Form des unüberwachten Lernens.
• Klassifikation mit Entscheidungsbäumen: Lernt anhand gelabelter Daten Regeln, die Datensätze bekannten Kategorien zuordnen, etwa um einen Kreditantrag zu genehmigen oder als auffällig zu markieren.
• Anomalieerkennung: Markiert Datensätze, die stark vom Rest abweichen, etwa betrügerische Kartentransaktionen oder eine Maschine, deren Sensorwerte vom Normalbereich abweichen.
• Mining sequenzieller Muster: Findet geordnete Muster, etwa Seitenpfade, die am häufigsten zu einem Kauf führen.

Assoziationsregeln werden anhand von drei Kennzahlen bewertet. Der Support ist der Anteil der Transaktionen, die beide Elemente enthalten, die Konfidenz ist der Anteil der Transaktionen mit Element A, die auch Element B enthalten, und der Lift teilt die Konfidenz durch die allgemeine Häufigkeit von B. Ein Lift über 1 bedeutet also, dass A und B häufiger gemeinsam auftreten, als es der Zufall erwarten ließe. Dieses Beispiel berechnet mit pandas Kennzahlen für jedes Produktpaar in acht Warenkörben:

from itertools import permutations

import pandas as pd

# Eight shopping baskets, one column per product
baskets = pd.DataFrame(
    [[1, 1, 0, 1], [1, 1, 0, 0], [0, 1, 1, 0], [1, 1, 1, 1], [1, 0, 0, 1], [0, 0, 1, 0], [1, 1, 0, 1], [0, 1, 1, 0]],
    columns=["bread", "butter", "milk", "jam"],
).astype(bool)

# Score every rule "A -> B" and keep frequent rules that beat chance
for a, b in permutations(baskets.columns, 2):
    support = (baskets[a] & baskets[b]).mean()  # share of baskets with both items
    confidence = support / baskets[a].mean()  # share of A baskets that also hold B
    lift = confidence / baskets[b].mean()  # confidence relative to B's base rate
    if support >= 0.25 and lift > 1:
        print(f"{a} -> {b}: support {support:.2f}, confidence {confidence:.2f}, lift {lift:.2f}")

Es werden vier Regeln ausgegeben. Die Regel Brot → Butter hat eine hohe Konfidenz von 0,80, aber einen Lift von nur 1,07, da Butter ohnehin in drei von vier Warenkörben liegt. Die Regel Brot → Marmelade hat dieselbe Konfidenz und einen Lift von 1,60. Die Regel Milch → Butter hat eine Konfidenz von 0,75 und einen Lift von genau 1,00, daher wird sie durch den Filter ausgeschlossen.

Data Mining in Computer Vision#

Bild- und Videosammlungen werden nach den für das Modell wichtigsten Beispielen durchsucht. Hard-Negative-Mining wählt Hintergrundbereiche aus, die ein Detektor fälschlich als Objekte bewertet, und trainiert erneut mit ihnen. Beim aktiven Lernen werden ungelabelte Datenbestände nach den Bildern durchsucht, bei denen sich ein Modell am unsichersten ist. Das Durchsuchen der Erkennungsprotokolle eines bereitgestellten Systems deckt wiederkehrende Fehlertypen in einer Fertigungslinie oder Stoßzeiten in einem Geschäft auf. Mit Einbettungen können Teams Millionen von Bildern nach Inhalt gruppieren, um Duplikate und Lücken zu finden.

Die Ultralytics Platform durchsucht Datensätze auf diese Weise über den Bereich Clustering. Dieser berechnet für jedes Bild eine Einbettung und projiziert den Datensatz in ein interaktives zweidimensionales Streudiagramm, in dem sich visuell ähnliche Bilder nahe beieinander befinden. So können Nutzer Punkte nach Aufteilung, Klasse oder Cluster einfärben, Duplikate und Ausreißer erkennen und einen Bereich freihändig markieren, um die darin enthaltenen Bilder zu prüfen, neu zu labeln oder zu verschieben.

Data Mining und verwandte Begriffe#

• Maschinelles Lernen: Erstellt Modelle, die sich auf neue Daten verallgemeinern lassen. Data Mining verwendet viele derselben Algorithmen, zielt aber darauf ab, Muster in vorhandenen Daten zu beschreiben.
• Datenanalyse: Die umfassendere Praxis, Fragen mithilfe von Daten zu beantworten. Dazu gehören neben Data Mining auch Berichterstattung und Interpretation.
• Datenvisualisierung: Stellt Daten und gefundene Muster grafisch dar, damit Menschen sie erfassen können.
• Web Scraping: Sammelt Daten von Websites. Im allgemeinen Sprachgebrauch wird dies manchmal als Data Mining bezeichnet, technisch gesehen ist Data Mining jedoch die Analyse, die auf das Sammeln folgt.