Reducción de la dimensionalidad

La reducción de la dimensionalidad es un proceso crucial en el aprendizaje automático (AM) y el análisis de datos que se utiliza para reducir el número de características (o dimensiones) de un conjunto de datos conservando tanta información significativa como sea posible. Los datos de alta dimensión, que contienen numerosas características, pueden dar lugar a problemas conocidos como la "maldición de la dimensionalidad", en la que los modelos se vuelven costosos de entrenar desde el punto de vista informático, requieren más memoria, son propensos al sobreajuste y pueden tener dificultades para generalizar bien debido a la distribución dispersa de los datos. Las técnicas de reducción de la dimensionalidad pretenden mitigar estos problemas transformando los datos en un espacio de menor dimensión, simplificando el modelo, mejorando la velocidad de entrenamiento, aumentando el rendimiento del modelo y permitiendo una visualización más sencilla de los datos.

Cómo funciona la reducción de la dimensionalidad

Las técnicas de reducción de la dimensionalidad suelen clasificarse en dos categorías principales:

1. Selección de características: Estos métodos seleccionan un subconjunto de las características originales, descartando las que se consideran irrelevantes o redundantes. El objetivo es conservar las características más informativas sin alterarlas. Los métodos pueden clasificarse como filtro (basado en propiedades estadísticas), envoltorio (basado en el rendimiento del modelo) o incrustado (integrado en el proceso de entrenamiento del modelo).
2. Extracción de rasgos: Estos métodos transforman los datos originales de alta dimensión en un nuevo espacio de características de menor dimensión. En lugar de limitarse a seleccionar características, crean otras nuevas (a menudo combinaciones de las originales) que captan la información esencial. Se trata de un concepto básico que se detalla con más detalle en la entrada del glosario sobre extracción de características.

Técnicas clave

Se suelen utilizar varios algoritmos para reducir la dimensionalidad:

• Análisis de Componentes Principales (ACP): Una técnica lineal muy utilizada para la extracción de características. El ACP identifica los componentes principales, nuevas características no correlacionadas que capturan la máxima varianza de los datos originales. Proyecta los datos sobre estos componentes, reduciendo eficazmente las dimensiones y conservando la mayor parte de la variabilidad de los datos. A menudo se implementa utilizando bibliotecas como Scikit-learn.
• Incrustación de Vecinos Estocásticos Distribuidos (t-SNE): Técnica no lineal utilizada principalmente para visualizar datos de alta dimensión en dos o tres dimensiones. t-SNE se centra en preservar la estructura local de los datos, mapeando puntos de datos de alta dimensión a puntos de baja dimensión, de forma que los puntos similares permanezcan próximos entre sí. Aunque es excelente para la visualización, es computacionalmente intensivo y menos adecuado para la reducción general de la dimensionalidad antes del entrenamiento del modelo, en comparación con el ACP. El sitio de Laurens van der Maaten ofrece recursos sobre t-SNE.
• Autocodificadores: Un tipo de red neuronal (NN ) que se utiliza para el aprendizaje no supervisado y la extracción de características. Un autocodificador consta de un codificador que comprime los datos de entrada en una representación latente de dimensión reducida (capa cuello de botella) y un decodificador que reconstruye los datos originales a partir de esta representación. La representación latente comprimida sirve como salida de dimensión reducida. A menudo se construyen utilizando marcos como PyTorch o TensorFlow.

Reducción de la dimensionalidad frente a conceptos relacionados

• Extracción de rasgos: Como ya se ha dicho, la extracción de características es un tipo de reducción de la dimensionalidad que crea nuevas características a partir de las antiguas. Técnicas como el PCA y los autocodificadores entran en esta categoría.
• Ingeniería de rasgos: Se trata de un proceso más amplio que implica crear, seleccionar y transformar características para mejorar el rendimiento del modelo. La reducción de la dimensionalidad (tanto la selección como la extracción) se considera parte de la ingeniería de características. Una ingeniería de características eficaz suele requerir conocimientos especializados.
• Compresión de datos: Aunque ambas pretenden reducir el tamaño de los datos, la reducción de la dimensionalidad se centra específicamente en preservar la información relevante para las tareas de ML, descartando potencialmente algunos detalles reconstructivos. La compresión de datos estándar (como los archivos ZIP) pretende minimizar el tamaño de almacenamiento sin pérdidas o con pérdidas aceptables para la reconstrucción, sin optimizar necesariamente la entrada del modelo ML.

Aplicaciones en IA y ML

La reducción de la dimensionalidad es vital en muchas aplicaciones de Inteligencia Artificial (IA) y ML:

• Visión por ordenador (VC): Las imágenes contienen grandes cantidades de datos de píxeles. Técnicas como el ACP o la extracción de características inherente a las Redes Neuronales Convolucionales (RNC ) (utilizadas en modelos como Ultralytics YOLO) reducen esta dimensionalidad, centrándose en patrones relevantes para tareas como la detección de objetos o la clasificación de imágenes. Esto acelera el procesamiento y puede mejorar la precisión del modelo. Las guías de datos de preprocesamiento suelen implicar pasos relacionados con el tratamiento de características.
• Bioinformática: El análisis de datos genómicos a menudo implica conjuntos de datos con miles de expresiones génicas (características). La reducción de la dimensionalidad ayuda a los investigadores a identificar patrones significativos relacionados con enfermedades o funciones biológicas, haciendo que los datos biológicos complejos sean más manejables. Los estudios publicados en revistas como Nature Methods utilizan a menudo estas técnicas.
• Procesamiento del Lenguaje Natural (PLN): Los datos de texto pueden representarse en espacios de alta dimensión utilizando técnicas como TF o incrustaciones de palabras. La reducción de la dimensionalidad ayuda a simplificar estas representaciones para tareas como la clasificación de documentos, el modelado de temas o el análisis de sentimientos.
• Visualización de datos: Las técnicas como t-SNE son inestimables para trazar conjuntos de datos de alta dimensión (por ejemplo, segmentos de clientes, grupos genéticos) en 2D o 3D, lo que permite a los humanos inspeccionar visualmente y comprender las posibles estructuras o relaciones dentro de los datos. Plataformas como Ultralytics HUB facilitan la gestión de conjuntos de datos y modelos en los que tales análisis son relevantes.

Beneficios y retos

Ventajas:

• Reduce el coste computacional y el tiempo de formación.
• Minimiza los requisitos de memoria y almacenamiento.
• Puede mitigar la maldición de la dimensionalidad y reducir el sobreajuste.
• Mejora el rendimiento del modelo eliminando el ruido y la redundancia.
• Permite la visualización de datos complejos y de alta dimensión.

Desafíos:

• Posible pérdida de información importante si no se aplica con cuidado.
• Elegir la técnica adecuada y el número de dimensiones objetivo puede ser todo un reto.
• Los rasgos transformados (en la extracción de rasgos) a veces pueden ser difíciles de interpretar en comparación con los rasgos originales.
• Algunas técnicas, como el t-SNE, son costosas desde el punto de vista informático.

Comprender y aplicar la reducción de la dimensionalidad es esencial para manejar con eficacia conjuntos de datos grandes y complejos en el desarrollo moderno de la IA.