Data Mining

La minería de datos es el proceso de descubrir patrones útiles en grandes conjuntos de datos, como elementos que aparecen juntos, grupos naturales, reglas predictivas y registros inusuales, mediante estadística, aprendizaje automático y técnicas de bases de datos. Formalmente, la minería de datos es la etapa de análisis del descubrimiento de conocimiento en bases de datos (KDD), que Usama Fayyad, Gregory Piatetsky-Shapiro y Padhraic Smyth describieron en 1996 como una secuencia de selección de datos, preprocesamiento de datos, transformación, minería e interpretación de los resultados.

El proceso de minería de datos#

Un modelo de proceso muy utilizado es CRISP-DM, el proceso estándar intersectorial para la minería de datos, que un consorcio formado, entre otros, por Teradata, Daimler y NCR presentó por primera vez en 1999. Sus seis fases se repiten cuando una fase posterior revela una carencia en una anterior:

La preparación de datos, que incluye la limpieza de datos, la combinación de fuentes y la ingeniería de características, suele ser la fase más larga; durante el modelado, el equipo vuelve a ella cuando descubre que un patrón se debe a registros ausentes o duplicados.

Técnicas principales#

• Aprendizaje de reglas de asociación: Encuentra elementos o eventos que aparecen juntos, como en el análisis de la cesta de la compra. El algoritmo Apriori de Rakesh Agrawal y Ramakrishnan Srikant, de 1994, hizo que su aplicación a grandes bases de datos de transacciones resultara práctica.
• Agrupamiento con k-means o DBSCAN: Agrupa registros similares sin etiquetas, como segmentos de clientes o imágenes parecidas, como forma de aprendizaje no supervisado.
• Clasificación con árboles de decisión: Aprende reglas que asignan registros a categorías conocidas, como aprobar o marcar una solicitud de préstamo, a partir de datos históricos etiquetados.
• Detección de anomalías: Señala registros que difieren mucho del resto, como transacciones fraudulentas con tarjetas o una máquina cuyos valores de sensores se desvían de lo normal.
• Minería de patrones secuenciales: Encuentra patrones ordenados, como las rutas por páginas que conducen con más frecuencia a una compra.

Las reglas de asociación se evalúan con tres cifras. El soporte es la proporción de transacciones que contienen ambos elementos; la confianza es la proporción de transacciones que contienen el elemento A y también contienen el elemento B; y la elevación divide la confianza por la frecuencia con la que aparece B por sí solo, de modo que una elevación superior a 1 significa que A y B aparecen juntos más a menudo de lo que cabría esperar por azar. En este ejemplo se evalúa cada pareja de productos en ocho cestas de la compra con pandas:

from itertools import permutations

import pandas as pd

# Eight shopping baskets, one column per product
baskets = pd.DataFrame(
    [[1, 1, 0, 1], [1, 1, 0, 0], [0, 1, 1, 0], [1, 1, 1, 1], [1, 0, 0, 1], [0, 0, 1, 0], [1, 1, 0, 1], [0, 1, 1, 0]],
    columns=["bread", "butter", "milk", "jam"],
).astype(bool)

# Score every rule "A -> B" and keep frequent rules that beat chance
for a, b in permutations(baskets.columns, 2):
    support = (baskets[a] & baskets[b]).mean()  # share of baskets with both items
    confidence = support / baskets[a].mean()  # share of A baskets that also hold B
    lift = confidence / baskets[b].mean()  # confidence relative to B's base rate
    if support >= 0.25 and lift > 1:
        print(f"{a} -> {b}: support {support:.2f}, confidence {confidence:.2f}, lift {lift:.2f}")

Imprime cuatro reglas. La regla pan → mantequilla tiene una confianza alta, de 0,80, pero una elevación de solo 1,07, porque la mantequilla ya está en tres de cada cuatro cestas; en cambio, pan → mermelada tiene la misma confianza y una elevación de 1,60. La regla leche → mantequilla tiene una confianza de 0,75 y una elevación exactamente igual a 1,00, por lo que el filtro la descarta.

Minería de datos en visión artificial#

Las colecciones de imágenes y vídeos se analizan para encontrar los ejemplos más importantes para un modelo. La minería de negativos difíciles selecciona regiones de fondo que un detector clasifica erróneamente como objetos y vuelve a entrenarlo con ellas; el aprendizaje activo analiza conjuntos sin etiquetar para encontrar las imágenes sobre las que un modelo tiene menos certeza. El análisis de los registros de detección de un sistema desplegado revela tipos recurrentes de defectos en una línea de fabricación o las horas punta de una tienda, y los embeddings permiten a los equipos agrupar millones de imágenes por contenido para encontrar duplicados y carencias.

Ultralytics Platform analiza los conjuntos de datos de este modo con su panel de agrupamiento, que calcula un embedding para cada imagen y proyecta el conjunto de datos en un gráfico de dispersión 2D interactivo, donde las imágenes visualmente similares quedan cerca unas de otras; así, los usuarios pueden colorear los puntos por partición, clase o grupo, detectar duplicados y valores atípicos, y seleccionar una región con un lazo para inspeccionar, volver a etiquetar o mover esas imágenes.

Minería de datos y términos relacionados#

• Aprendizaje automático: Crea modelos que generalizan a datos nuevos. La minería de datos aplica muchos de los mismos algoritmos para describir patrones en datos existentes.
• Analítica de datos: La práctica más amplia de responder preguntas con datos, que incluye la minería de datos, además de la elaboración de informes y la interpretación.
• Visualización de datos: Presenta gráficamente los datos y los patrones descubiertos para que las personas puedan interpretarlos.
• Raspado web: Recopila datos de sitios web. En el uso popular a veces se denomina minería de datos, pero técnicamente la minería es el análisis que se realiza después de la recopilación.