¿Qué es la destilación de datasets? Una breve introducción

Entrenar modelos puede parecer la parte que más tiempo consume del trabajo de un científico de datos. Sin embargo, la mayor parte de su tiempo, a menudo entre el 60 % y el 80 %, se dedica en realidad a preparar los datos: recopilarlos, limpiarlos y organizarlos para crear modelos. A medida que los conjuntos de datos crecen, también aumenta el tiempo de preparación, lo que ralentiza los experimentos y dificulta la iteración.

Para abordar este problema, los investigadores llevan años buscando formas de optimizar el entrenamiento. Enfoques como los datos sintéticos, la compresión de conjuntos de datos y unos métodos de optimización mejores tienen como objetivo reducir el coste y las dificultades de trabajar con conjuntos de datos a gran escala, así como acelerar los flujos de trabajo de machine learning.

Esto plantea una pregunta clave: ¿podemos reducir drásticamente un conjunto de datos y seguir obteniendo el mismo rendimiento que al entrenar un modelo con todos los datos? La destilación de conjuntos de datos es una respuesta prometedora.

Crea una versión compacta de un gran conjunto de datos de entrenamiento, conservando los patrones esenciales que el modelo necesita para aprender de forma eficaz. Permite entrenar más rápido, reducir las necesidades de cálculo y experimentar de forma más eficiente. Puedes verlo como una chuleta de estudio para el modelo: un pequeño conjunto de ejemplos de datos sintéticos diseñado para enseñar los mismos patrones fundamentales que el conjunto de datos completo.

En este artículo, veremos cómo funciona la destilación de conjuntos de datos y cómo favorece el machine learning y el deep learning escalables en aplicaciones del mundo real. ¡Empecemos!

Entender la destilación de conjuntos de datos#

La destilación de conjuntos de datos es un proceso mediante el cual un gran conjunto de datos de entrenamiento se condensa en un conjunto de datos mucho más pequeño que sigue enseñando a un modelo prácticamente la misma información que el conjunto de datos original. Muchos investigadores también se refieren a este proceso como condensación de conjuntos de datos, porque el objetivo es capturar los patrones esenciales presentes en todo el conjunto de datos.

Un conjunto de datos destilado es distinto de unos datos sintéticos generados al azar o de simplemente escoger un subconjunto más pequeño de imágenes reales. No es un conjunto de datos falso aleatorio ni una copia recortada del original.

En su lugar, se optimiza deliberadamente para capturar los patrones más importantes. Durante este proceso, cada píxel y cada característica se ajustan y optimizan para que una red neuronal entrenada con los datos destilados aprenda casi como si se hubiera entrenado con todo el conjunto de datos.

Esta idea apareció por primera vez en un artículo de arXiv de 2018 escrito por Tongzhou Wang, Jun-Yan Zhu, Antonio Torralba y Alexei A. Efros. Las primeras pruebas utilizaron conjuntos de datos sencillos como MNIST y CIFAR-10, lo que facilitó demostrar que unas pocas muestras destiladas podían sustituir a miles de imágenes reales.

Fig. 1. Uso de la destilación de conjuntos de datos para datos de imágenes (Fuente)

Desde entonces, los trabajos posteriores han seguido desarrollando la destilación de conjuntos de datos, incluidos métodos publicados en ICML e ICLR que hacen que la condensación sea más eficiente y escalable.

La importancia de la destilación de conjuntos de datos#

La destilación de conjuntos de datos mejora la eficiencia del entrenamiento y acelera los ciclos de desarrollo. Al reducir la cantidad de datos de los que necesita aprender un modelo, disminuye los requisitos computacionales.

Esto resulta especialmente útil para el aprendizaje continuo, en el que los modelos se actualizan con el tiempo; la búsqueda de arquitecturas neuronales, en la que se prueban muchos diseños de modelos; y el entrenamiento en el edge, en el que los modelos se ejecutan en dispositivos pequeños con memoria y energía limitadas. En conjunto, estas ventajas hacen que la destilación de conjuntos de datos sea una excelente opción para la inicialización rápida, el fine-tuning ágil y la creación de prototipos iniciales en muchos flujos de trabajo de machine learning.

Descripción general del funcionamiento de la destilación de conjuntos de datos#

La destilación de conjuntos de datos crea muestras de entrenamiento sintéticas o generadas artificialmente. Estas muestras ayudan al modelo a aprender de una forma muy parecida a como lo haría al entrenarse con datos reales. El proceso realiza un seguimiento de tres factores clave durante el entrenamiento normal.

El primero es la función de pérdida, que es la puntuación de error del modelo e indica hasta qué punto son incorrectas sus predicciones. El segundo son los parámetros del modelo, es decir, los pesos internos de la red que se actualizan a medida que aprende.

El tercero es la trayectoria de entrenamiento, que describe cómo cambian paso a paso el error y los pesos con el tiempo. Después, las muestras sintéticas se optimizan para que, cuando un modelo se entrene con ellas, su error disminuya y sus pesos se actualicen del mismo modo que lo harían con el conjunto de datos completo.

Análisis paso a paso de la destilación de conjuntos de datos#

Veamos con más detalle cómo funciona el proceso de destilación de conjuntos de datos:

• Paso 1 - Inicializar los píxeles sintéticos: El proceso comienza con imágenes sintéticas que actúan como entradas aprendibles. Al principio, estas imágenes tienen poca estructura y parecen lienzos en blanco. Con el tiempo, se optimizan hasta convertirse en ejemplos informativos.
• Paso 2 - Optimizar mediante la coincidencia de gradientes y la retropropagación: Mientras el modelo se entrena con estas imágenes sintéticas, produce gradientes que indican cómo debe cambiar cada píxel para reproducir mejor el comportamiento de entrenamiento de los datos reales. La retropropagación es el método que utiliza la red para aprender de sus errores. Envía el error hacia atrás a través del modelo para averiguar qué píxeles y pesos lo han causado y, después, los actualiza ligeramente. Mediante esos gradientes, la retropropagación ajusta paso a paso las imágenes sintéticas para que resulten más informativas durante el entrenamiento.
• Paso 3 - Reproducir el comportamiento a lo largo de los pasos de entrenamiento: El método también reproduce las trayectorias de entrenamiento, es decir, los cambios paso a paso que experimenta el modelo mientras aprende. Esto garantiza que el conjunto de datos destilado guíe al modelo por una ruta de aprendizaje similar a la que seguiría con el conjunto de datos completo.
• Paso 4 - Validación y generalización: Por último, el conjunto de datos destilado se evalúa con datos de validación reales para comprobar cómo funciona el modelo entrenado con ejemplos nuevos. Esto verifica que los datos sintéticos enseñen patrones amplios y funcionales, en lugar de hacer que el modelo memorice muestras específicas.

Fig. 2. Una mirada a la destilación de conjuntos de datos (Fuente)

Principales metodologías de destilación de conjuntos de datos#

Todos los métodos de destilación de conjuntos de datos se basan en la misma idea fundamental, aunque utilicen algoritmos diferentes para conseguirlo. La mayoría de los enfoques se encuadran en tres categorías: coincidencia de rendimiento, coincidencia de distribuciones y coincidencia de parámetros.

A continuación, veremos cada una y cómo funciona.

Coincidencia de rendimiento#

La coincidencia de rendimiento en la destilación de conjuntos de datos se centra en crear un conjunto de entrenamiento pequeño y optimizado que permita al modelo alcanzar prácticamente la misma precisión que si se hubiera entrenado con el conjunto de datos original completo. En lugar de escoger un subconjunto al azar, las muestras destiladas se optimizan para que un modelo entrenado con ellas termine haciendo predicciones similares, presente un comportamiento de pérdida parecido durante el entrenamiento o alcance una precisión final similar a la de un modelo entrenado con el conjunto de datos original.

El metaaprendizaje es un método habitual para mejorar este proceso. El conjunto de datos destilado se actualiza mediante episodios de entrenamiento repetidos, de modo que resulta eficaz en muchas situaciones posibles.

Durante estos episodios, el método simula cómo aprende un modelo estudiante a partir de las muestras destiladas actuales, comprueba cómo funciona ese estudiante con datos reales y, después, ajusta las muestras destiladas para que sean mejores profesores. Con el tiempo, el conjunto destilado aprende a favorecer un aprendizaje rápido y una generalización sólida, incluso cuando el modelo estudiante parte de pesos iniciales diferentes o utiliza otra arquitectura. Esto hace que el conjunto de datos destilado sea más fiable y no dependa de una única ejecución de entrenamiento.

Fig. 3. El proceso de metaaprendizaje (Fuente)

Técnicas de coincidencia de distribuciones#

Por su parte, la coincidencia de distribuciones genera datos sintéticos que reproducen los patrones estadísticos del conjunto de datos real. En lugar de centrarse únicamente en la precisión final del modelo, este enfoque se centra en las características internas que genera una red neuronal durante el aprendizaje.

A continuación, veremos las dos técnicas que impulsan la coincidencia de distribuciones.

Coincidencia de distribuciones en una sola capa#

La coincidencia de distribuciones en una sola capa se centra en una única capa de una red neuronal y compara las características que produce para los datos reales y los sintéticos. Estas características, también llamadas activaciones, capturan lo que el modelo ha aprendido en ese punto de la red.

Al hacer que los datos sintéticos produzcan activaciones similares, el método favorece que el conjunto de datos destilado refleje los mismos patrones importantes que el conjunto de datos original. En la práctica, las muestras sintéticas se actualizan repetidamente hasta que las activaciones de la capa elegida coinciden estrechamente con las de las imágenes reales.

Este enfoque es relativamente sencillo porque alinea un solo nivel de representación cada vez. Puede funcionar especialmente bien con conjuntos de datos pequeños o tareas en las que no sea necesario reproducir jerarquías de características profundas y de varias etapas. Al alinear claramente un espacio de características, la coincidencia en una sola capa proporciona una señal estable y significativa para aprender con el conjunto de datos destilado.

Coincidencia de distribuciones en varias capas#

La coincidencia de distribuciones en varias capas se basa en la idea de comparar datos reales y sintéticos, pero lo hace en varias capas de una red neuronal en lugar de solo en una. Cada capa captura distintos tipos de información, desde bordes y texturas sencillos en las capas iniciales hasta formas y patrones más complejos en las capas profundas.

Al hacer coincidir las características entre estas capas, se consigue que el conjunto de datos destilado refleje lo que el modelo aprende en varios niveles. Como alinea las características en toda la red, este enfoque ayuda a que los datos sintéticos conserven señales más ricas en las que se basa el modelo para distinguir las clases.

Esto resulta especialmente útil en la visión artificial, es decir, en tareas en las que los modelos aprenden a comprender imágenes y vídeos, porque los patrones útiles se distribuyen entre muchas capas. Cuando las distribuciones de características coinciden bien a varias profundidades, el conjunto de datos destilado actúa como un sustituto más sólido y fiable de los datos de entrenamiento originales.

Métodos de coincidencia de parámetros#

Otra categoría clave de la destilación de conjuntos de datos es la coincidencia de parámetros. En lugar de hacer coincidir la precisión o las distribuciones de características, reproduce cómo cambian los pesos del modelo durante el entrenamiento. Al conseguir que el entrenamiento con el conjunto de datos destilado produzca actualizaciones de parámetros similares a las del entrenamiento con datos reales, el modelo sigue una ruta de aprendizaje prácticamente idéntica.

A continuación, repasaremos los dos métodos principales de coincidencia de parámetros.

Coincidencia en un solo paso#

La coincidencia en un solo paso compara lo que les ocurre a los pesos del modelo después de un único paso de entrenamiento con datos reales. Después, el conjunto de datos destilado se ajusta para que un modelo entrenado con él durante un paso produzca una actualización de pesos muy similar. Como solo se centra en esta actualización, el método es sencillo y rápido de ejecutar.

La desventaja es que un solo paso no refleja todo el proceso de aprendizaje, especialmente en tareas más difíciles en las que el modelo necesita muchas actualizaciones para crear características más ricas. Por eso, la coincidencia en un solo paso suele funcionar mejor con problemas más sencillos o conjuntos de datos pequeños en los que los patrones útiles se pueden aprender rápidamente.

Coincidencia de parámetros en varios pasos#

En cambio, la coincidencia de parámetros en varios pasos analiza cómo cambian los pesos del modelo a lo largo de varios pasos de entrenamiento, no solo uno. Esta secuencia de actualizaciones es la trayectoria de entrenamiento del modelo.

El conjunto de datos destilado se crea de modo que, cuando un modelo se entrena con las muestras sintéticas, su trayectoria siga de cerca la que seguiría con datos reales. Al reproducir un tramo más largo del aprendizaje, el conjunto destilado captura una mayor parte de la estructura del proceso de entrenamiento original.

Como refleja cómo se desarrolla el aprendizaje con el tiempo, la coincidencia en varios pasos suele funcionar mejor con conjuntos de datos más grandes o complejos, en los que los modelos necesitan muchas actualizaciones para aprender patrones útiles. Requiere más cálculo, ya que debe realizar un seguimiento de varios pasos, pero a menudo produce conjuntos de datos destilados que generalizan mejor y ofrecen un rendimiento superior al de la coincidencia en un solo paso.

Cómo funcionan la generación y la optimización de conjuntos de datos sintéticos#

Ahora que conocemos mejor los principales enfoques de destilación, podemos analizar cómo se crean los datos sintéticos. En la destilación de conjuntos de datos, las muestras sintéticas se optimizan para capturar la señal de aprendizaje más importante, de modo que un conjunto pequeño pueda sustituir a otro mucho más grande.

A continuación, veremos cómo se generan y evalúan estos datos destilados.

Creación y evaluación de imágenes destiladas#

Durante la destilación de conjuntos de datos, los píxeles sintéticos se actualizan a lo largo de muchos pasos de entrenamiento. La red neuronal aprende a partir de las imágenes sintéticas actuales y envía información basada en gradientes que muestra cómo debe cambiar cada píxel para reproducir mejor los patrones del conjunto de datos real.

Esto funciona porque el proceso es diferenciable (es decir, cada paso es suave y tiene gradientes bien definidos, por lo que pequeños cambios en los píxeles producen cambios predecibles en la pérdida), lo que permite al modelo ajustar suavemente los datos sintéticos durante el descenso de gradiente.

A medida que continúa la optimización, las imágenes sintéticas empiezan a formar estructuras significativas, incluidas formas y texturas que el modelo reconoce. Estas imágenes sintéticas refinadas se utilizan a menudo en tareas de clasificación de imágenes, porque capturan las señales visuales clave que un clasificador necesita aprender.

Los conjuntos de datos destilados se evalúan entrenando modelos con ellos y comparando los resultados con los de modelos entrenados con datos reales. Los investigadores miden la precisión de validación y comprueban si el conjunto sintético conserva las características discriminativas (los patrones o señales en los que se basa el modelo para distinguir una clase de otra) necesarias para separar las clases. También prueban la estabilidad y la generalización en diferentes ejecuciones o configuraciones de modelos para asegurarse de que los datos destilados no provoquen sobreajuste.

Aplicaciones de la destilación de datos en el mundo real#

A continuación, analizaremos con más detalle ejemplos que muestran cómo los conjuntos de datos destilados aceleran el entrenamiento y reducen los costes de cálculo, manteniendo un rendimiento sólido incluso cuando los datos son limitados o están muy especializados.

Uso de la destilación de conjuntos de datos en aplicaciones de visión artificial#

En el caso de la visión artificial, el objetivo es entrenar modelos para que comprendan datos visuales, como imágenes y vídeos. Estos modelos aprenden patrones como bordes, texturas, formas y objetos, y después utilizan esos patrones en tareas como la clasificación de imágenes, la detección de objetos o la segmentación. Como los problemas de visión suelen presentar una gran variación en la iluminación, los fondos y los puntos de vista, los sistemas de visión artificial normalmente necesitan conjuntos de datos grandes para generalizar bien, lo que hace que el entrenamiento sea caro y lento.

Fig. 4. Un ejemplo de destilación de conjuntos de datos (Fuente)

En casos de uso de clasificación de imágenes, como las exploraciones médicas, la monitorización de fauna o la detección de defectos en fábricas, los modelos suelen enfrentarse a un difícil equilibrio entre precisión y coste de entrenamiento. Estas tareas suelen implicar conjuntos de datos enormes.

La destilación de conjuntos de datos puede comprimir el conjunto de entrenamiento original en un pequeño número de imágenes sintéticas que siguen conteniendo las señales visuales más importantes para el clasificador. En benchmarks grandes como ImageNet, se ha demostrado que los conjuntos destilados que utilizan solo alrededor del 4,2 % de las imágenes originales mantienen una precisión de clasificación sólida. Esto significa que un sustituto sintético diminuto puede reemplazar a millones de muestras reales con mucho menos cálculo.

Búsqueda de arquitecturas neuronales#

La búsqueda de arquitecturas neuronales, o NAS, es una técnica que explora automáticamente muchos diseños posibles de redes neuronales para encontrar el que mejor funciona en una tarea. Como NAS debe entrenar y evaluar un gran número de modelos candidatos, ejecutarlo con conjuntos de datos completos puede ser lento y requerir muchos recursos computacionales.

La destilación de conjuntos de datos ayuda creando un conjunto de entrenamiento sintético diminuto que sigue conteniendo la señal de aprendizaje principal de los datos originales, de modo que cada arquitectura candidata se pueda probar mucho más rápido. Esto permite que NAS compare diseños de forma eficiente y mantenga unas clasificaciones de las arquitecturas buenas y malas razonablemente fiables, reduciendo el coste de búsqueda sin sacrificar demasiada calidad final del modelo.

Aprendizaje continuo y despliegue en el edge#

Los sistemas de aprendizaje continuo, es decir, modelos que siguen actualizándose a medida que llegan datos nuevos en lugar de entrenarse una sola vez, necesitan actualizaciones rápidas y eficientes en cuanto a memoria. Los dispositivos edge, como cámaras, teléfonos y sensores, se enfrentan a límites similares porque disponen de presupuestos muy ajustados de cálculo y almacenamiento.

La destilación de conjuntos de datos ayuda en ambos casos al comprimir un conjunto de entrenamiento grande en uno sintético diminuto, de modo que los modelos puedan adaptarse o volver a entrenarse utilizando un pequeño conjunto de repetición en lugar del conjunto de datos completo. Por ejemplo, un trabajo sobre metaaprendizaje basado en kernels mostró que solo 10 muestras destiladas pueden alcanzar una precisión superior al 64 % en CIFAR-10, un benchmark estándar de clasificación de imágenes. Como el conjunto de repetición es tan compacto, las actualizaciones son mucho más rápidas y prácticas, especialmente cuando los modelos deben actualizarse con frecuencia.

La destilación de conjuntos de datos también puede funcionar junto con la destilación de conocimiento para modelos de lenguaje grandes. Un conjunto de datos destilado pequeño puede conservar las señales de tarea más importantes del modelo profesor, de modo que se pueda entrenar o actualizar un modelo estudiante comprimido de forma más eficiente sin perder demasiado rendimiento. Como estos conjuntos de datos son diminutos, resultan especialmente útiles para el uso en el edge o en el propio dispositivo, donde el almacenamiento y el cálculo son limitados, pero quieres que el modelo mantenga su precisión tras las actualizaciones.

Ventajas y desventajas de la destilación de datos#

Estas son algunas ventajas de utilizar la destilación de conjuntos de datos:

• Ideal para experimentos rápidos. Puedes probar nuevas arquitecturas, funciones de pérdida o hiperparámetros sin volver a entrenar cada vez con un conjunto de datos enorme.
• Posible ventaja en materia de privacidad. Compartir muestras sintéticas destiladas puede ser más seguro que compartir datos reales de usuarios, ya que los ejemplos sin procesar no quedan expuestos directamente.
• A menudo es mejor que escoger un subconjunto sin más. En lugar de limitarse a seleccionar ejemplos, la destilación los optimiza activamente para que sean lo más informativos posible.

Aunque la destilación de conjuntos de datos ofrece varias ventajas, estas son algunas limitaciones que debes tener en cuenta:

• Sobreajuste: Los datos destilados suelen funcionar mejor con la arquitectura utilizada durante la destilación y pueden transferirse mal a modelos muy diferentes.
• Sensibilidad a los hiperparámetros. Los resultados pueden depender mucho de factores como la tasa de aprendizaje, la inicialización o el número de pasos de destilación.
• Es más difícil escalar a la complejidad del mundo real. Los métodos que funcionan bien en benchmarks pueden perder precisión con conjuntos de datos grandes, desordenados o de alta resolución.

Conclusiones clave#

La destilación de conjuntos de datos permite que un pequeño conjunto de muestras sintéticas enseñe a un modelo casi con la misma eficacia que un conjunto de datos completo. Esto hace que el machine learning sea más rápido, eficiente y fácil de escalar. A medida que los modelos crecen y necesitan más datos, los conjuntos de datos destilados ofrecen una forma práctica de reducir los costes de cálculo sin sacrificar precisión.

Únete a nuestra comunidad y consulta nuestro repositorio de GitHub para descubrir más sobre la IA. Si quieres crear tu propio proyecto de IA de visión, consulta nuestras opciones de licencia. Descubre más sobre aplicaciones como la IA en la atención sanitaria y la IA de visión en el comercio minorista visitando nuestras páginas de soluciones.