Dimensionality Reduction

La reducción de dimensionalidad transforma datos descritos mediante muchas características en una representación con muchas menos características que conserva la información importante, como la varianza de los datos, las distancias entre puntos o cuáles son vecinos. Una imagen en color de 640x640 tiene más de 1,2 millones de valores de píxel, un perfil de expresión génica puede tener 20 000 mediciones y un embedding de imagen suele tener cientos de dimensiones. Reducirlas acelera los modelos de aprendizaje automático, reduce el riesgo de sobreajuste, ahorra almacenamiento y permite representar los datos en dos o tres dimensiones para la visualización de datos.

Por qué ayudan las dimensiones reducidas#

Richard Bellman acuñó la expresión «maldición de la dimensionalidad» en su trabajo sobre programación dinámica para describir cómo los problemas se vuelven más difíciles al añadir dimensiones. El volumen del espacio crece exponencialmente con cada nueva característica, por lo que una cantidad fija de datos de entrenamiento lo cubre cada vez de forma más dispersa; además, en dimensiones muy altas, las distancias entre puntos aleatorios son casi iguales, lo que debilita los métodos basados en distancias, como los k vecinos más próximos y el agrupamiento k-means.

Los datos reales rara vez llenan su espacio. Las imágenes de dígitos escritos a mano varían principalmente en el grosor y la inclinación de los trazos, además de unos pocos factores más, por lo que se encuentran cerca de una superficie de muchas menos dimensiones, o variedad, dentro del espacio de píxeles. La reducción de dimensionalidad encuentra coordenadas en esa superficie y, como no necesita etiquetas, la mayoría de los métodos son formas de aprendizaje no supervisado.

Métodos lineales y no lineales#

El análisis de componentes principales (PCA), presentado por Karl Pearson en 1901, rota los datos en direcciones ortogonales ordenadas según la varianza que capturan y conserva las primeras. La proporción de varianza explicada muestra cuántos componentes necesita un conjunto de datos. El análisis discriminante lineal, propuesto por Ronald Fisher en 1936, utiliza etiquetas de clase para encontrar las direcciones que mejor separan las clases. La proyección aleatoria multiplica los datos por una matriz aleatoria, y el lema de Johnson-Lindenstrauss garantiza que las distancias entre n puntos se mantengan dentro de una tolerancia elegida usando un número de dimensiones que solo crece con el logaritmo de n.

Los métodos no lineales siguen variedades curvas. Isomap y la incrustación lineal local, publicados ambos en Science en 2000, conservan las distancias a lo largo de la variedad y los vecindarios lineales locales. t-SNE y UMAP sitúan los puntos similares cerca unos de otros en un mapa 2D, lo que los convierte en herramientas habituales para visualizar grupos de embeddings, aunque las distancias entre grupos muy alejados en esos mapas tienen poco significado. Los autocodificadores aprenden un codificador que asigna cada entrada a un código pequeño en un espacio latente y un decodificador que la reconstruye; en 2006, Geoffrey Hinton y Ruslan Salakhutdinov demostraron que los autocodificadores profundos generan mejores códigos que PCA para imágenes y documentos.

Este ejemplo comprime imágenes de dígitos de 8x8, de 64 características de píxel a los menos componentes principales que conservan el 90 % de la varianza, y luego clasifica los dígitos con k vecinos más próximos antes y después:

from sklearn.datasets import load_digits
from sklearn.decomposition import PCA
from sklearn.model_selection import cross_val_score
from sklearn.neighbors import KNeighborsClassifier
from sklearn.pipeline import make_pipeline

X, y = load_digits(return_X_y=True)  # 1,797 images of 8x8 pixels = 64 features

# Keep the fewest principal components that explain 90% of the variance
pca = PCA(n_components=0.90).fit(X)
print(f"Features: {X.shape[1]} -> {pca.n_components_}")

# Classify with k-nearest neighbors on the raw pixels and on the reduced features
raw = cross_val_score(KNeighborsClassifier(), X, y).mean()
reduced = cross_val_score(make_pipeline(PCA(n_components=0.90), KNeighborsClassifier()), X, y).mean()
print(f"Accuracy: {raw:.3f} with 64 features, {reduced:.3f} with {pca.n_components_}")

Veintiún componentes contienen el 90 % de la varianza, y la precisión validada cruzadamente solo pasa de 0,963 a 0,959 con un tercio de las características. Ajustar PCA dentro del flujo de trabajo aprende la proyección únicamente a partir de cada partición de entrenamiento, por lo que no se filtra información desde las particiones de prueba.

Selección y extracción de características#

La selección de características conserva un subconjunto de las columnas originales, por ejemplo, descartando canales de sensores redundantes, para que las características restantes mantengan su significado. La reducción de dimensionalidad en sentido estricto es la extracción de características: crea características nuevas como combinaciones de las antiguas, lo que suele comprimir mejor, pero resulta más difícil de interpretar. Ambas son etapas del preprocesamiento de datos y la ingeniería de características. Las redes profundas realizan la extracción durante el entrenamiento y comprimen los píxeles en embeddings, mientras que el aprendizaje de representaciones Matryoshka entrena embeddings cuyas dimensiones iniciales funcionan por sí solas, de modo que una base de datos vectorial puede almacenar vectores más cortos.

Usos en visión artificial#

La visión artificial utiliza representaciones reducidas en varias etapas. Proyectar embeddings de imágenes a 2D con t-SNE o UMAP muestra si las clases se separan y dónde aparecen los valores atípicos, y PCA o la cuantización vectorial reduce el tamaño de los embeddings que hay detrás de la búsqueda vectorial, para que millones de imágenes quepan en memoria. Los modelos de segmentación de instancias de YOLO26 incorporan esta idea a su salida: el cabezal calcula 32 máscaras prototipo por imagen a un cuarto de la resolución de entrada y predice solo 32 coeficientes por objeto; la máscara de cada objeto es la suma ponderada de los prototipos, de modo que una máscara de 160x160 para una entrada de 640 píxeles, con 25 600 valores, se codifica con 32 números.