Reducción de la dimensionalidad

La reducción de la dimensionalidad es una técnica de preprocesamiento de datos crucial en el aprendizaje automático (AM) que se utiliza para reducir el número de características -también conocidas como variables o dimensiones- de un conjunto de datos. El objetivo principal es transformar los datos de alta dimensión en una representación de menor dimensión, conservando la mayor cantidad posible de información significativa. Este proceso es esencial para simplificar los modelos, reducir la complejidad computacional y mitigar un problema común conocido como "maldición de la dimensionalidad", en el que el rendimiento disminuye a medida que aumenta el número de características. La aplicación eficaz de estas técnicas es una parte clave del ciclo de vida del desarrollo de la IA.

¿Por qué es importante la reducción de la dimensionalidad?

Trabajar con datos de alta dimensión plantea varios retos. Los modelos entrenados en conjuntos de datos con demasiadas características pueden volverse excesivamente complejos, lo que lleva a un sobreajuste en el que el modelo aprende el ruido en lugar del patrón subyacente. Además, un mayor número de características requiere más capacidad de cálculo y almacenamiento, lo que aumenta el tiempo y los costes de formación. La reducción de la dimensionalidad resuelve estos problemas:

• Simplificación de los modelos: Un menor número de características da lugar a modelos más sencillos, más fáciles de interpretar y menos propensos al sobreajuste.
• Mejora del rendimiento: Al eliminar las características irrelevantes o redundantes (ruido), el modelo puede centrarse en las señales más importantes de los datos, lo que a menudo conduce a una mayor precisión y generalización.
• Reducción de la carga computacional: Los datos de menor dimensión aceleran significativamente el entrenamiento del modelo y reducen los requisitos de memoria, lo que es fundamental para la inferencia en tiempo real.
• Mejorar la visualización: Es imposible visualizar datos con más de tres dimensiones. Técnicas como t-SNE reducen los datos a dos o tres dimensiones, lo que permite una visualización de datos más perspicaz.

Técnicas comunes

Existen dos enfoques principales para la reducción de la dimensionalidad: la selección y la extracción de características.

• Selección de características: Este enfoque consiste en seleccionar un subconjunto de las características originales y descartar el resto. No crea nuevas características, por lo que el modelo resultante es altamente interpretable. Los métodos suelen clasificarse como técnicas de filtro, envoltorio o incrustadas.
• Extracción de características: Este enfoque transforma los datos de un espacio de altas dimensiones a un espacio de menos dimensiones creando nuevas características a partir de combinaciones de las antiguas. Las técnicas más populares son:
  • Análisis de componentes principales (ACP): Técnica lineal que identifica los componentes principales (direcciones de mayor varianza) en los datos. Es rápida e interpretable, pero puede no captar relaciones no lineales complejas.
  • Autocodificadores: Un tipo de red neuronal utilizada para el aprendizaje no supervisado que puede aprender representaciones eficientes y comprimidas de los datos. Son potentes para aprender estructuras no lineales, pero más complejos que el ACP.
  • t-SNE (incrustación estocástica de vecinos distribuida en t): Una técnica no lineal excelente para visualizar datos de alta dimensión revelando clusters subyacentes y estructuras locales. A menudo se utiliza para la exploración en lugar de como un paso de preprocesamiento para otro modelo ML debido a su coste computacional.

Reducción de la dimensionalidad frente a conceptos afines

Es importante distinguir la reducción de la dimensionalidad de conceptos relacionados, como la ingeniería de características. Mientras que la ingeniería de características es un proceso amplio de creación, selección y transformación de variables para mejorar el rendimiento del modelo, la reducción de la dimensionalidad se centra específicamente en la reducción del número de características. Puede considerarse un subcampo de la ingeniería de características.

Del mismo modo, aunque el resultado de la reducción de la dimensionalidad son datos comprimidos, su objetivo principal es mejorar el rendimiento del modelo, no sólo reducir el tamaño de almacenamiento, que es el objetivo principal de los algoritmos generales de compresión de datos como ZIP.

Aplicaciones en IA y ML

La reducción de la dimensionalidad es vital en muchas aplicaciones de Inteligencia Artificial (IA) y ML:

• Visión por ordenador (CV): Las imágenes contienen grandes cantidades de datos de píxeles. La extracción de características inherente a las redes neuronales convolucionales (CNN), utilizada en modelos como Ultralytics YOLO, reduce esta dimensionalidad. Esto permite al modelo centrarse en patrones relevantes para tareas como la detección de objetos o la clasificación de imágenes, lo que acelera el procesamiento y mejora el rendimiento del modelo.
• Bioinformática: El análisis de datos genómicos suele implicar conjuntos de datos con miles de expresiones génicas (características). La reducción de la dimensionalidad ayuda a los investigadores a identificar patrones significativos relacionados con enfermedades o funciones biológicas, haciendo más manejables los datos biológicos complejos. Los estudios publicados en revistas como Nature Methods utilizan a menudo estas técnicas.
• Procesamiento del lenguaje natural (PLN): Los datos de texto pueden representarse en espacios de alta dimensión mediante técnicas como TF-IDF o incrustación de palabras. La reducción de la dimensionalidad ayuda a simplificar estas representaciones para tareas como la clasificación de documentos o el análisis de sentimientos.
• Visualización de datos: Técnicas como t-SNE son muy valiosas para trazar conjuntos de datos de alta dimensión en 2D o 3D. Esto permite a los humanos inspeccionar visualmente y comprender posibles estructuras o relaciones dentro de los datos, lo que resulta útil para gestionar conjuntos de datos y modelos complejos en plataformas como Ultralytics HUB.