¿Qué es la destilación de datasets? Un breve resumen

Entrenar modelos puede parecer la parte que más tiempo consume del trabajo de un científico de datos. Pero la mayor parte de su tiempo, a menudo entre el 60% y el 80%, se dedica en realidad a preparar los datos: recopilarlos, limpiarlos y organizarlos para el modelado. A medida que los conjuntos de datos crecen, ese tiempo de preparación también aumenta, lo que ralentiza los experimentos y dificulta la iteración.

Para solucionar esto, los investigadores han dedicado años a buscar formas de optimizar el entrenamiento. Enfoques como los datos sintéticos, la compresión de datasets y mejores métodos de optimización tienen como objetivo reducir el coste y la fricción de trabajar con datasets a gran escala y acelerar los flujos de trabajo de aprendizaje automático.

Una cuestión clave que esto plantea es si podemos reducir drásticamente un dataset y aun así lograr el mismo rendimiento que al entrenar un modelo con los datos completos. La destilación de datasets es una respuesta prometedora.

Crea una versión compacta de un gran conjunto de datos de entrenamiento a la vez que preserva los patrones esenciales que el modelo necesita para aprender eficazmente. Ofrece un camino hacia un entrenamiento más rápido, menores necesidades de computación y una experimentación más eficiente. Puedes pensar en ello como una hoja de truco de estudio para el modelo, un conjunto minúsculo de ejemplos de datos sintéticos diseñados para enseñar los mismos patrones principales que el conjunto de datos completo.

En este artículo, exploraremos cómo funciona la destilación de datasets y cómo ayuda al aprendizaje automático y al aprendizaje profundo escalables en aplicaciones del mundo real. ¡Empecemos!

Comprender la destilación de datasets#

La destilación de datasets es un proceso en el que un dataset de entrenamiento grande se condensa en un conjunto de datos mucho más pequeño que aún enseña a un modelo casi la misma información que el dataset original. Muchos investigadores también se refieren a este proceso como condensación de datasets, ya que el objetivo es capturar los patrones esenciales que aparecen en todo el dataset.

Un dataset destilado es diferente de los datos sintéticos generados aleatoriamente o de simplemente elegir un subconjunto más pequeño de imágenes reales. No es un dataset falso aleatorio ni una copia recortada del original.

En cambio, está optimizado deliberadamente para capturar los patrones más importantes. Durante este proceso, cada píxel y característica se ajusta y optimiza para que una red neuronal entrenada con los datos destilados aprenda casi como si fuera entrenada con el dataset completo.

Esta idea apareció por primera vez en un artículo de arXiv de 2018 de Tongzhou Wang, Jun-Yan Zhu, Antonio Torralba y Alexei A. Efros. Las primeras pruebas utilizaron conjuntos de datos sencillos como MNIST y CIFAR-10, lo que facilitó demostrar que unas pocas muestras destiladas podían sustituir a miles de imágenes reales.

Fig 1. Uso de la destilación de conjuntos de datos para datos de imagen (Fuente)

Desde entonces, trabajos posteriores han impulsado aún más la destilación de datasets, incluidos métodos publicados en ICML e ICLR que hacen que la condensación sea más eficiente y escalable.

La importancia de la destilación de datasets#

La destilación de datasets mejora la eficiencia del entrenamiento y acelera los ciclos de desarrollo. Al reducir la cantidad de datos de los que necesita aprender un modelo, disminuye los requisitos computacionales.

Esto es especialmente útil para el aprendizaje continuo, donde los modelos se actualizan con el tiempo, la búsqueda de arquitectura neuronal, donde se prueban muchos diseños de modelos, y el entrenamiento en el borde, donde los modelos se ejecutan en dispositivos pequeños con memoria y energía limitadas. En general, estos beneficios hacen de la destilación de datasets una gran opción para la inicialización rápida, el ajuste preciso rápido y la construcción de prototipos iniciales en muchos flujos de trabajo de aprendizaje automático.

Una visión general de cómo funciona la destilación de datasets#

La destilación de datasets crea muestras de entrenamiento sintéticas, o generadas artificialmente. Estas muestras ayudan a un modelo a aprender de una forma que se parece mucho a entrenarlo con datos reales. Funciona mediante el seguimiento de tres factores clave durante el entrenamiento normal.

El primero es la función de pérdida, que es la puntuación de error del modelo que muestra cuán erróneas son sus predicciones. El segundo son los parámetros del modelo, que son los pesos internos de la red que se actualizan a medida que aprende.

El tercero es la trayectoria de entrenamiento, que describe cómo cambian el error y los pesos paso a paso a lo largo del tiempo. A continuación, las muestras sintéticas se optimizan para que, cuando un modelo se entrena con ellas, su error disminuya y sus pesos se actualicen de la misma forma que lo harían con el dataset completo.

Un vistazo paso a paso a la destilación de datasets#

Aquí tienes un vistazo más de cerca a cómo funciona el proceso de destilación de datasets:

• Paso 1 - Inicializar los píxeles sintéticos: El proceso comienza con imágenes sintéticas que actúan como entradas aprendibles. Al principio, estas imágenes tienen poca estructura y parecen lienzos en blanco. Con el tiempo, se optimizan en ejemplos informativos.
• Paso 2 - Optimizar con coincidencia de gradiente y retropropagación: A medida que el modelo se entrena con estas imágenes sintéticas, produce gradientes que indican cómo debe cambiar cada píxel para adaptarse mejor al comportamiento de entrenamiento de los datos reales. La retropropagación es el método que utiliza la red para aprender de los errores. Envía el error hacia atrás a través del modelo para averiguar qué píxeles y pesos lo causaron, y luego los actualiza ligeramente. Usando esos gradientes, la retropropagación ajusta las imágenes sintéticas paso a paso para que sean más informativas para el entrenamiento.
• Paso 3 - Hacer coincidir el comportamiento a lo largo de los pasos de entrenamiento: El método también hace coincidir las trayectorias de entrenamiento, lo que significa los cambios paso a paso por los que pasa el modelo mientras aprende. Esto asegura que el dataset destilado guíe al modelo a través de un camino de aprendizaje similar al que seguiría con el dataset completo.
• Paso 4 - Validación y generalización: Finalmente, el dataset destilado se evalúa con datos de validación reales para ver qué tan bien funciona el modelo entrenado con nuevos ejemplos. Esto verifica que los datos sintéticos enseñen patrones amplios y funcionales en lugar de hacer que el modelo memorice muestras específicas.

Fig 2. Un vistazo a la destilación de conjuntos de datos (Fuente)

Metodologías clave de destilación de datasets#

Todos los métodos de destilación de datasets se basan en la misma idea central, aunque utilicen diferentes algoritmos para llegar a ella. La mayoría de los enfoques se dividen en tres categorías: coincidencia de rendimiento, coincidencia de distribución y coincidencia de parámetros.

A continuación, veamos cada uno y cómo funciona.

Coincidencia de rendimiento#

La coincidencia de rendimiento en la destilación de datasets se centra en crear un conjunto de entrenamiento pequeño y optimizado que permita a un modelo alcanzar casi la misma precisión que si se entrenara con el dataset original completo. En lugar de elegir un subconjunto aleatorio, las muestras destiladas se optimizan para que un modelo entrenado con ellas termine con predicciones similares, un comportamiento de pérdida similar durante el entrenamiento o una precisión final similar a la de un modelo entrenado con el dataset original.

El metaaprendizaje es un método común utilizado para mejorar este proceso. El conjunto de datos destilado se actualiza a través de episodios de entrenamiento repetidos, por lo que se vuelve eficaz en muchas situaciones posibles.

Durante estos episodios, el método simula cómo un modelo estudiante aprende de las muestras destiladas actuales, verifica qué tan bien funciona ese estudiante con datos reales y luego ajusta las muestras destiladas para que sean mejores docentes. Con el tiempo, el conjunto destilado aprende a soportar un aprendizaje rápido y una fuerte generalización, incluso cuando el modelo estudiante comienza con diferentes pesos iniciales o utiliza una arquitectura diferente. Esto hace que el dataset destilado sea más fiable y no esté atado a una sola ejecución de entrenamiento.

Fig 3. El proceso de metaaprendizaje (Fuente)

Técnicas de coincidencia de distribución#

Mientras tanto, la coincidencia de distribución genera datos sintéticos que coinciden con los patrones estadísticos del dataset real. En lugar de centrarse solo en la precisión final de un modelo, este enfoque se centra en las características internas que genera una red neuronal durante el aprendizaje.

A continuación, echemos un vistazo a las dos técnicas que impulsan la coincidencia de distribución.

Coincidencia de distribución de una sola capa#

La coincidencia de distribución de una sola capa se concentra en una sola capa de una red neuronal y compara las características que produce para datos reales frente a sintéticos. Esas características, también llamadas activaciones, capturan lo que el modelo ha aprendido en ese punto de la red.

Al hacer que los datos sintéticos produzcan activaciones similares, el método anima al dataset destilado a reflejar los mismos patrones importantes que el dataset original. En la práctica, las muestras sintéticas se actualizan repetidamente hasta que las activaciones en esa capa elegida coinciden estrechamente con las de las imágenes reales.

Este enfoque es relativamente simple porque alinea solo un nivel de representación a la vez. Puede funcionar especialmente bien en datasets más pequeños o tareas donde no es necesario hacer coincidir jerarquías de características profundas de múltiples etapas. Al alinear claramente un espacio de características, la coincidencia de una sola capa proporciona una señal estable y significativa para aprender con el dataset destilado.

Coincidencia de distribución multicapa#

La coincidencia de distribución multicapa se basa en la idea de comparar datos reales y sintéticos haciéndolo en varias capas de una red neuronal en lugar de solo una. Las diferentes capas capturan diferentes tipos de información, desde bordes y texturas simples en las capas tempranas hasta formas y patrones más complejos en las capas más profundas.

Al hacer coincidir características en estas capas, el dataset destilado es impulsado a reflejar lo que el modelo aprende en múltiples niveles. Debido a que alinea las características a lo largo de la red, este enfoque ayuda a que los datos sintéticos preserven señales más ricas en las que el modelo confía para distinguir las clases.

Esto es especialmente útil en visión artificial, es decir, en tareas en las que los modelos aprenden a entender imágenes y vídeos, porque los patrones útiles se distribuyen en muchas capas. Cuando las distribuciones de características coinciden bien a varias profundidades, el conjunto de datos destilado actúa como un sustituto más fuerte y fiable de los datos de entrenamiento originales.

Métodos de coincidencia de parámetros#

Otra categoría clave en la destilación de datasets es la coincidencia de parámetros. En lugar de hacer coincidir la precisión o las distribuciones de características, coincide con cómo cambian los pesos de un modelo durante el entrenamiento. Al hacer que el entrenamiento con el dataset destilado produzca actualizaciones de parámetros similares a las del entrenamiento con datos reales, el modelo sigue un camino de aprendizaje casi idéntico.

Repasaremos los dos métodos principales de coincidencia de parámetros a continuación.

Coincidencia de un solo paso#

La coincidencia de un solo paso compara lo que le sucede a los pesos de un modelo después de solo un paso de entrenamiento con datos reales. El dataset destilado se ajusta entonces para que un modelo entrenado con él durante un paso produzca una actualización de peso muy similar. Dado que solo se centra en esta única actualización, el método es directo y rápido de ejecutar.

La desventaja es que un paso no refleja el proceso de aprendizaje completo, especialmente para tareas más difíciles donde el modelo necesita muchas actualizaciones para construir características más ricas. Debido a eso, la coincidencia de un solo paso tiende a funcionar mejor en problemas más simples o datasets más pequeños donde los patrones útiles pueden recogerse rápidamente.

Coincidencia de parámetros de múltiples pasos#

En contraste, la coincidencia de parámetros de múltiples pasos analiza cómo cambian los pesos de un modelo a lo largo de varios pasos de entrenamiento, no solo uno. Esta secuencia de actualizaciones es la trayectoria de entrenamiento del modelo.

El dataset destilado se construye de modo que cuando un modelo se entrena con las muestras sintéticas, su trayectoria sigue estrechamente la que tomaría con datos reales. Al hacer coincidir un tramo más largo de aprendizaje, el conjunto destilado captura más de la estructura en el proceso de entrenamiento original.

Debido a que refleja cómo se desarrolla el aprendizaje a lo largo del tiempo, la coincidencia de múltiples pasos suele funcionar mejor para datasets más grandes o complejos donde los modelos necesitan muchas actualizaciones para recoger patrones útiles. Requiere más computación ya que tiene que realizar un seguimiento de múltiples pasos, pero a menudo produce datasets destilados que generalizan mejor y dan un mejor rendimiento que la coincidencia de un solo paso.

Cómo funcionan la generación y optimización de datasets sintéticos#

Con una mejor comprensión de los principales enfoques de destilación, ahora podemos observar cómo se crean los datos sintéticos. En la destilación de datasets, las muestras sintéticas se optimizan para capturar la señal de aprendizaje más importante, por lo que un conjunto pequeño puede reemplazar un dataset mucho más grande.

A continuación, veremos cómo se generan y evalúan estos datos destilados.

Creación y evaluación de imágenes destiladas#

Durante la destilación de datasets, los píxeles sintéticos se actualizan a lo largo de muchos pasos de entrenamiento. La red neuronal aprende de las imágenes sintéticas actuales y envía comentarios basados en gradientes, que muestran cómo debe cambiar cada píxel para adaptarse mejor a los patrones del dataset real.

Esto funciona porque el proceso es diferenciable (lo que significa que cada paso es suave y tiene gradientes bien definidos, por lo que los pequeños cambios de píxeles conducen a cambios predecibles en la pérdida), lo que permite al modelo ajustar suavemente los datos sintéticos durante el descenso de gradiente.

A medida que la optimización continúa, las imágenes sintéticas empiezan a formar una estructura significativa, incluidas formas y texturas que el modelo reconoce. Estas imágenes sintéticas refinadas se utilizan a menudo para tareas de clasificación de imágenes porque capturan las pistas visuales clave que un clasificador necesita para aprender.

Los datasets destilados se evalúan entrenando modelos con ellos y comparando los resultados con modelos entrenados con datos reales. Los investigadores miden la precisión de la validación y verifican si el conjunto sintético preserva las características discriminativas (los patrones o señales en los que el modelo confía para distinguir una clase de otra) necesarias para separar las clases. También prueban la estabilidad y la generalización en diferentes ejecuciones o configuraciones de modelos para asegurarse de que los datos destilados no conduzcan a un sobreajuste.

Aplicaciones en el mundo real de la destilación de datos#

A continuación, veremos más de cerca ejemplos que muestran cómo los datasets destilados aceleran el entrenamiento y reducen los costes de computación mientras mantienen un rendimiento sólido, incluso cuando los datos son limitados o altamente especializados.

Uso de la destilación de datasets para aplicaciones de visión artificial#

Cuando se trata de visión artificial, el objetivo es entrenar modelos para entender datos visuales como imágenes y vídeos. Estos modelos aprenden patrones como bordes, texturas, formas y objetos, y luego usan esos patrones para tareas como la clasificación de imágenes, la detección de objetos o la segmentación. Debido a que los problemas de visión a menudo tienen una enorme variación en iluminación, fondos y puntos de vista, los sistemas de visión artificial generalmente necesitan grandes datasets para generalizar bien, lo que hace que el entrenamiento sea costoso y lento.

Fig 4. Un ejemplo de destilación de conjuntos de datos (Fuente)

Cuando se trata de casos de uso de clasificación de imágenes como escaneos médicos, seguimiento de la vida silvestre o detección de defectos en fábrica, los modelos a menudo se enfrentan a un difícil equilibrio entre la precisión y el coste de entrenamiento. Estas tareas normalmente involucran datasets masivos.

La destilación de conjuntos de datos puede comprimir el conjunto de entrenamiento original en un pequeño número de imágenes sintéticas que siguen conteniendo las pistas visuales más importantes para el clasificador. En grandes puntos de referencia como ImageNet, se ha demostrado que los conjuntos destilados que utilizan solo alrededor del 4,2% de las imágenes originales mantienen una fuerte precisión de clasificación. Esto significa que un diminuto proxy sintético puede sustituir a millones de muestras reales con mucha menos computación.

Búsqueda de arquitectura neuronal#

La búsqueda de arquitectura neuronal, o NAS, es una técnica que explora automáticamente muchos diseños posibles de redes neuronales para encontrar el que mejor funciona para una tarea. Debido a que la NAS tiene que entrenar y evaluar una gran cantidad de modelos candidatos, ejecutarla en datasets completos puede ser lento y requerir un gran uso de computación.

La destilación de datasets ayuda creando un conjunto de entrenamiento sintético pequeño que aún contiene la señal de aprendizaje principal de los datos originales, por lo que cada arquitectura candidata puede probarse mucho más rápido. Esto permite a la NAS comparar diseños de manera eficiente mientras mantiene los rankings de buenas frente a malas arquitecturas razonablemente fiables, reduciendo el coste de búsqueda sin sacrificar demasiado la calidad final del modelo.

Aprendizaje continuo y despliegue en el borde#

Los sistemas de aprendizaje continuo, es decir, los modelos que siguen actualizándose a medida que llegan nuevos datos en lugar de entrenarse una sola vez, necesitan actualizaciones que sean rápidas y eficientes en cuanto a memoria. Los dispositivos de borde como cámaras, teléfonos y sensores se enfrentan a límites similares debido a que tienen presupuestos ajustados de computación y almacenamiento.

La destilación de conjuntos de datos ayuda en ambos casos al comprimir un gran conjunto de entrenamiento en uno sintético diminuto, por lo que los modelos pueden adaptarse o reentrenarse utilizando un pequeño conjunto de reproducción en lugar del conjunto de datos completo. Por ejemplo, el trabajo de metaaprendizaje basado en núcleos demostró que solo 10 muestras destiladas pueden lograr más del 64% de precisión en CIFAR-10, un estándar de clasificación de imágenes. Debido a que el conjunto de reproducción es tan compacto, las actualizaciones se vuelven mucho más rápidas y prácticas, especialmente cuando los modelos necesitan actualizarse con frecuencia.

La destilación de datasets también puede funcionar junto con la destilación de conocimiento para grandes modelos de lenguaje. Un dataset destilado pequeño puede mantener las señales de tarea más importantes del modelo docente, por lo que un modelo estudiante comprimido puede ser entrenado o actualizado de manera más eficiente sin perder mucho rendimiento. Dado que estos datasets son diminutos, son especialmente útiles para el uso en el borde o en el dispositivo, donde el almacenamiento y la computación son limitados pero aun así deseas que el modelo siga siendo preciso después de las actualizaciones.

Pros y contras de la destilación de datos#

Aquí tienes algunos beneficios de usar la destilación de datasets:

• Ideal para experimentos rápidos. Puedes probar nuevas arquitecturas, pérdidas o hiperparámetros sin volver a entrenar con un dataset enorme cada vez.
• Potencial ventaja de privacidad. Compartir muestras sintéticas destiladas puede ser más seguro que compartir puntos de datos reales de los usuarios, ya que los ejemplos sin procesar no están expuestos directamente.
• A menudo más fuerte que la simple selección de subconjuntos. En lugar de simplemente seleccionar ejemplos, la destilación los optimiza activamente para que sean máximamente informativos.

Aunque la destilación de datasets ofrece varias ventajas, aquí tienes algunas limitaciones a tener en cuenta:

• Sobreajuste: Los datos destilados suelen funcionar mejor para la arquitectura utilizada durante la destilación y pueden transferirse mal a modelos muy diferentes.
• Sensible a los hiperparámetros. Los resultados pueden depender mucho de factores como la tasa de aprendizaje, la inicialización o el número de pasos de destilación.
• Más difícil de escalar a la complejidad del mundo real. Los métodos que funcionan bien en benchmarks pueden perder precisión en datasets grandes, desordenados o de alta resolución.

Conclusiones clave#

La destilación de datasets hace posible que un pequeño conjunto de muestras sintéticas enseñe a un modelo casi tan eficazmente como un dataset completo. Esto hace que el aprendizaje automático sea más rápido, más eficiente y más fácil de escalar. A medida que los modelos crecen y requieren más datos, los datasets destilados ofrecen una forma práctica de reducir los costes de computación sin sacrificar la precisión.

Únete a nuestra comunidad y echa un vistazo a nuestro repositorio de GitHub para descubrir más sobre la IA. Si buscas construir tu propio proyecto de visión artificial, consulta nuestras opciones de licencia. Explora más sobre aplicaciones como la IA en la asistencia sanitaria y la visión artificial en el comercio minorista visitando nuestras páginas de soluciones.