¿Qué es la destilación de datasets? Un breve resumen

Entrenar modelos puede parecer la parte que más tiempo consume en el trabajo de un científico de datos. Pero la mayor parte de su tiempo, a menudo entre el 60% y el 80%, se dedica en realidad a preparar los datos: recopilarlos, limpiarlos y organizarlos para el modelado. A medida que los datasets aumentan de tamaño, ese tiempo de preparación también crece, ralentizando los experimentos y dificultando la iteración.

Para solucionar esto, los investigadores han dedicado años a buscar formas de optimizar el entrenamiento. Enfoques como los datos sintéticos, la compresión de datasets y mejores métodos de optimización tienen como objetivo reducir el coste y la fricción de trabajar con datasets a gran escala y acelerar los flujos de trabajo de aprendizaje automático.

Una cuestión clave que esto plantea es si podemos reducir drásticamente un dataset y aun así lograr el mismo rendimiento que al entrenar un modelo con los datos completos. La destilación de datasets es una respuesta prometedora.

Crea una versión compacta de un dataset de entrenamiento grande mientras preserva los patrones esenciales que el modelo necesita para aprender eficazmente. Proporciona un camino hacia un entrenamiento más rápido, menores necesidades de computación y una experimentación más eficiente. Puedes pensarlo como una chuleta de estudio para el modelo, un pequeño conjunto de ejemplos de datos sintéticos diseñados para enseñar los mismos patrones centrales que el dataset completo.

En este artículo, exploraremos cómo funciona la destilación de datasets y cómo ayuda al aprendizaje automático y al aprendizaje profundo escalables en aplicaciones del mundo real. ¡Empecemos!

Link to this sectionComprender la destilación de datasets#

La destilación de datasets es un proceso en el que un dataset de entrenamiento grande se condensa en un conjunto de datos mucho más pequeño que aún enseña a un modelo casi la misma información que el dataset original. Muchos investigadores también se refieren a este proceso como condensación de datasets, ya que el objetivo es capturar los patrones esenciales que aparecen en todo el dataset.

Un dataset destilado es diferente de los datos sintéticos generados aleatoriamente o de simplemente elegir un subconjunto más pequeño de imágenes reales. No es un dataset falso aleatorio ni una copia recortada del original.

En cambio, está optimizado deliberadamente para capturar los patrones más importantes. Durante este proceso, cada píxel y característica se ajusta y optimiza para que una red neuronal entrenada con los datos destilados aprenda casi como si fuera entrenada con el dataset completo.

Esta idea apareció por primera vez en un artículo de arXiv de 2018 de Tongzhou Wang, Jun-Yan Zhu, Antonio Torralba y Alexei A. Efros. Las primeras pruebas utilizaron datasets sencillos como MNIST y CIFAR-10, lo que facilitó demostrar que unas pocas muestras destiladas podían sustituir a miles de imágenes reales.

Fig 1. Usar la destilación de datasets para datos de imagen (Fuente)

Desde entonces, trabajos posteriores han impulsado aún más la destilación de datasets, incluidos métodos publicados en ICML e ICLR que hacen que la condensación sea más eficiente y escalable.

Link to this sectionLa importancia de la destilación de datasets#

La destilación de datasets mejora la eficiencia del entrenamiento y acelera los ciclos de desarrollo. Al reducir la cantidad de datos de los que necesita aprender un modelo, disminuye los requisitos computacionales.

Esto es especialmente útil para el aprendizaje continuo, donde los modelos se actualizan con el tiempo, la búsqueda de arquitectura neuronal, donde se prueban muchos diseños de modelos, y el entrenamiento en el borde, donde los modelos se ejecutan en dispositivos pequeños con memoria y energía limitadas. En general, estos beneficios hacen de la destilación de datasets una gran opción para la inicialización rápida, el ajuste preciso rápido y la construcción de prototipos iniciales en muchos flujos de trabajo de aprendizaje automático.

Link to this sectionUna visión general de cómo funciona la destilación de datasets#

La destilación de datasets crea muestras de entrenamiento sintéticas, o generadas artificialmente. Estas muestras ayudan a un modelo a aprender de una forma que se parece mucho a entrenarlo con datos reales. Funciona mediante el seguimiento de tres factores clave durante el entrenamiento normal.

El primero es la función de pérdida, que es la puntuación de error del modelo que muestra cuán erróneas son sus predicciones. El segundo son los parámetros del modelo, que son los pesos internos de la red que se actualizan a medida que aprende.

El tercero es la trayectoria de entrenamiento, que describe cómo cambian el error y los pesos paso a paso a lo largo del tiempo. A continuación, las muestras sintéticas se optimizan para que, cuando un modelo se entrena con ellas, su error disminuya y sus pesos se actualicen de la misma forma que lo harían con el dataset completo.

Link to this sectionUn vistazo paso a paso a la destilación de datasets#

Aquí tienes un vistazo más de cerca a cómo funciona el proceso de destilación de datasets:

• Paso 1 - Inicializar píxeles sintéticos: El proceso comienza con imágenes sintéticas que actúan como entradas aprendibles. Al principio, estas imágenes tienen poca estructura y parecen lienzos en blanco. Con el tiempo, se optimizan en ejemplos informativos.
• Paso 2 - Optimizar con coincidencia de gradiente y retropropagación: A medida que el modelo se entrena con estas imágenes sintéticas, produce gradientes que indican cómo debe cambiar cada píxel para adaptarse mejor al comportamiento de entrenamiento de los datos reales. La retropropagación es el método que utiliza la red para aprender de los errores. Envía el error hacia atrás a través del modelo para averiguar qué píxeles y pesos lo causaron, y luego los actualiza ligeramente. Usando esos gradientes, la retropropagación ajusta las imágenes sintéticas paso a paso para que sean más informativas para el entrenamiento.
• Paso 3 - Hacer coincidir el comportamiento a lo largo de los pasos de entrenamiento: El método también hace coincidir las trayectorias de entrenamiento, lo que significa los cambios paso a paso por los que pasa el modelo mientras aprende. Esto asegura que el dataset destilado guíe al modelo a través de un camino de aprendizaje similar al que seguiría con el dataset completo.
• Paso 4 - Validación y generalización: Finalmente, el dataset destilado se evalúa con datos de validación reales para ver qué tan bien funciona el modelo entrenado con nuevos ejemplos. Esto verifica que los datos sintéticos enseñen patrones amplios y funcionales en lugar de hacer que el modelo memorice muestras específicas.

Fig 2. Un vistazo a la destilación de datasets (Fuente)

Link to this sectionMetodologías clave de destilación de datasets#

Todos los métodos de destilación de datasets se basan en la misma idea central, aunque utilicen diferentes algoritmos para llegar a ella. La mayoría de los enfoques se dividen en tres categorías: coincidencia de rendimiento, coincidencia de distribución y coincidencia de parámetros.

A continuación, veamos cada uno y cómo funciona.

Link to this sectionCoincidencia de rendimiento#

La coincidencia de rendimiento en la destilación de datasets se centra en crear un conjunto de entrenamiento pequeño y optimizado que permita a un modelo alcanzar casi la misma precisión que si se entrenara con el dataset original completo. En lugar de elegir un subconjunto aleatorio, las muestras destiladas se optimizan para que un modelo entrenado con ellas termine con predicciones similares, un comportamiento de pérdida similar durante el entrenamiento o una precisión final similar a la de un modelo entrenado con el dataset original.

El meta-aprendizaje es un método común utilizado para mejorar este proceso. El dataset destilado se actualiza a través de episodios de entrenamiento repetidos, por lo que se vuelve efectivo en muchas situaciones posibles.

Durante estos episodios, el método simula cómo un modelo estudiante aprende de las muestras destiladas actuales, verifica qué tan bien funciona ese estudiante con datos reales y luego ajusta las muestras destiladas para que sean mejores docentes. Con el tiempo, el conjunto destilado aprende a soportar un aprendizaje rápido y una fuerte generalización, incluso cuando el modelo estudiante comienza con diferentes pesos iniciales o utiliza una arquitectura diferente. Esto hace que el dataset destilado sea más fiable y no esté atado a una sola ejecución de entrenamiento.

Fig 3. El proceso de meta-aprendizaje (Fuente)

Link to this sectionTécnicas de coincidencia de distribución#

Mientras tanto, la coincidencia de distribución genera datos sintéticos que coinciden con los patrones estadísticos del dataset real. En lugar de centrarse solo en la precisión final de un modelo, este enfoque se centra en las características internas que genera una red neuronal durante el aprendizaje.

A continuación, echemos un vistazo a las dos técnicas que impulsan la coincidencia de distribución.

Link to this sectionCoincidencia de distribución de una sola capa#

La coincidencia de distribución de una sola capa se concentra en una sola capa de una red neuronal y compara las características que produce para datos reales frente a sintéticos. Esas características, también llamadas activaciones, capturan lo que el modelo ha aprendido en ese punto de la red.

Al hacer que los datos sintéticos produzcan activaciones similares, el método anima al dataset destilado a reflejar los mismos patrones importantes que el dataset original. En la práctica, las muestras sintéticas se actualizan repetidamente hasta que las activaciones en esa capa elegida coinciden estrechamente con las de las imágenes reales.

Este enfoque es relativamente simple porque alinea solo un nivel de representación a la vez. Puede funcionar especialmente bien en datasets más pequeños o tareas donde no es necesario hacer coincidir jerarquías de características profundas de múltiples etapas. Al alinear claramente un espacio de características, la coincidencia de una sola capa proporciona una señal estable y significativa para aprender con el dataset destilado.

Link to this sectionCoincidencia de distribución multicapa#

La coincidencia de distribución multicapa se basa en la idea de comparar datos reales y sintéticos haciéndolo en varias capas de una red neuronal en lugar de solo una. Las diferentes capas capturan diferentes tipos de información, desde bordes y texturas simples en las capas tempranas hasta formas y patrones más complejos en las capas más profundas.

Al hacer coincidir características en estas capas, el dataset destilado es impulsado a reflejar lo que el modelo aprende en múltiples niveles. Debido a que alinea las características a lo largo de la red, este enfoque ayuda a que los datos sintéticos preserven señales más ricas en las que el modelo confía para distinguir las clases.

Esto es especialmente útil en visión artificial, lo que significa tareas donde los modelos aprenden a entender imágenes y vídeos, porque los patrones útiles se extienden a través de muchas capas. Cuando las distribuciones de características coinciden bien a varias profundidades, el dataset destilado actúa como un sustituto más fuerte y fiable para los datos de entrenamiento originales.

Link to this sectionMétodos de coincidencia de parámetros#

Otra categoría clave en la destilación de datasets es la coincidencia de parámetros. En lugar de hacer coincidir la precisión o las distribuciones de características, coincide con cómo cambian los pesos de un modelo durante el entrenamiento. Al hacer que el entrenamiento con el dataset destilado produzca actualizaciones de parámetros similares a las del entrenamiento con datos reales, el modelo sigue un camino de aprendizaje casi idéntico.

Repasaremos los dos métodos principales de coincidencia de parámetros a continuación.

Link to this sectionCoincidencia de un solo paso#

La coincidencia de un solo paso compara lo que le sucede a los pesos de un modelo después de solo un paso de entrenamiento con datos reales. El dataset destilado se ajusta entonces para que un modelo entrenado con él durante un paso produzca una actualización de peso muy similar. Dado que solo se centra en esta única actualización, el método es directo y rápido de ejecutar.

La desventaja es que un paso no refleja el proceso de aprendizaje completo, especialmente para tareas más difíciles donde el modelo necesita muchas actualizaciones para construir características más ricas. Debido a eso, la coincidencia de un solo paso tiende a funcionar mejor en problemas más simples o datasets más pequeños donde los patrones útiles pueden recogerse rápidamente.

Link to this sectionCoincidencia de parámetros de múltiples pasos#

En contraste, la coincidencia de parámetros de múltiples pasos analiza cómo cambian los pesos de un modelo a lo largo de varios pasos de entrenamiento, no solo uno. Esta secuencia de actualizaciones es la trayectoria de entrenamiento del modelo.

El dataset destilado se construye de modo que cuando un modelo se entrena con las muestras sintéticas, su trayectoria sigue estrechamente la que tomaría con datos reales. Al hacer coincidir un tramo más largo de aprendizaje, el conjunto destilado captura más de la estructura en el proceso de entrenamiento original.

Debido a que refleja cómo se desarrolla el aprendizaje a lo largo del tiempo, la coincidencia de múltiples pasos suele funcionar mejor para datasets más grandes o complejos donde los modelos necesitan muchas actualizaciones para recoger patrones útiles. Requiere más computación ya que tiene que realizar un seguimiento de múltiples pasos, pero a menudo produce datasets destilados que generalizan mejor y dan un mejor rendimiento que la coincidencia de un solo paso.

Link to this sectionCómo funcionan la generación y optimización de datasets sintéticos#

Con una mejor comprensión de los principales enfoques de destilación, ahora podemos observar cómo se crean los datos sintéticos. En la destilación de datasets, las muestras sintéticas se optimizan para capturar la señal de aprendizaje más importante, por lo que un conjunto pequeño puede reemplazar un dataset mucho más grande.

A continuación, veremos cómo se generan y evalúan estos datos destilados.

Link to this sectionCreación y evaluación de imágenes destiladas#

Durante la destilación de datasets, los píxeles sintéticos se actualizan a lo largo de muchos pasos de entrenamiento. La red neuronal aprende de las imágenes sintéticas actuales y envía comentarios basados en gradientes, que muestran cómo debe cambiar cada píxel para adaptarse mejor a los patrones del dataset real.

Esto funciona porque el proceso es diferenciable (lo que significa que cada paso es suave y tiene gradientes bien definidos, por lo que los pequeños cambios de píxeles conducen a cambios predecibles en la pérdida), lo que permite al modelo ajustar suavemente los datos sintéticos durante el descenso de gradiente.

A medida que continúa la optimización, las imágenes sintéticas comienzan a formar una estructura significativa, incluyendo formas y texturas que el modelo reconoce. Estas imágenes sintéticas refinadas se utilizan a menudo para tareas de clasificación de imágenes porque capturan las señales visuales clave que un clasificador necesita aprender.

Los datasets destilados se evalúan entrenando modelos con ellos y comparando los resultados con modelos entrenados con datos reales. Los investigadores miden la precisión de la validación y verifican si el conjunto sintético preserva las características discriminativas (los patrones o señales en los que el modelo confía para distinguir una clase de otra) necesarias para separar las clases. También prueban la estabilidad y la generalización en diferentes ejecuciones o configuraciones de modelos para asegurarse de que los datos destilados no conduzcan a un sobreajuste.

Link to this sectionAplicaciones en el mundo real de la destilación de datos#

A continuación, veremos más de cerca ejemplos que muestran cómo los datasets destilados aceleran el entrenamiento y reducen los costes de computación mientras mantienen un rendimiento sólido, incluso cuando los datos son limitados o altamente especializados.

Link to this sectionUso de la destilación de datasets para aplicaciones de visión artificial#

Cuando se trata de visión artificial, el objetivo es entrenar modelos para entender datos visuales como imágenes y vídeos. Estos modelos aprenden patrones como bordes, texturas, formas y objetos, y luego usan esos patrones para tareas como la clasificación de imágenes, la detección de objetos o la segmentación. Debido a que los problemas de visión a menudo tienen una enorme variación en iluminación, fondos y puntos de vista, los sistemas de visión artificial generalmente necesitan grandes datasets para generalizar bien, lo que hace que el entrenamiento sea costoso y lento.

Fig 4. Un ejemplo de destilación de datasets (Fuente)

Cuando se trata de casos de uso de clasificación de imágenes como escaneos médicos, seguimiento de la vida silvestre o detección de defectos en fábrica, los modelos a menudo se enfrentan a un difícil equilibrio entre la precisión y el coste de entrenamiento. Estas tareas normalmente involucran datasets masivos.

La destilación de datasets puede comprimir el conjunto de entrenamiento original en un pequeño número de imágenes sintéticas que todavía contienen las señales visuales más importantes para el clasificador. En benchmarks grandes como ImageNet, se ha demostrado que los conjuntos destilados que usan solo alrededor del 4.2% del original de las imágenes mantienen una fuerte precisión de clasificación. Esto significa que un pequeño proxy sintético puede reemplazar a millones de muestras reales con mucha menos computación.

Link to this sectionBúsqueda de arquitectura neuronal#

La búsqueda de arquitectura neuronal, o NAS, es una técnica que explora automáticamente muchos diseños posibles de redes neuronales para encontrar el que mejor funciona para una tarea. Debido a que la NAS tiene que entrenar y evaluar una gran cantidad de modelos candidatos, ejecutarla en datasets completos puede ser lento y requerir un gran uso de computación.

La destilación de datasets ayuda creando un conjunto de entrenamiento sintético pequeño que aún contiene la señal de aprendizaje principal de los datos originales, por lo que cada arquitectura candidata puede probarse mucho más rápido. Esto permite a la NAS comparar diseños de manera eficiente mientras mantiene los rankings de buenas frente a malas arquitecturas razonablemente fiables, reduciendo el coste de búsqueda sin sacrificar demasiado la calidad final del modelo.

Link to this sectionAprendizaje continuo y despliegue en el borde#

Los sistemas de aprendizaje continuo, lo que significa modelos que siguen actualizándose a medida que llegan nuevos datos en lugar de entrenarse una vez, necesitan actualizaciones rápidas y eficientes en memoria. Los dispositivos de borde como cámaras, teléfonos y sensores enfrentan límites similares porque tienen presupuestos ajustados de computación y almacenamiento.

La destilación de datasets ayuda en ambos casos al comprimir un gran conjunto de entrenamiento en uno sintético pequeño, por lo que los modelos pueden adaptarse o reentrenarse usando un conjunto de repetición pequeño en lugar del dataset completo. Por ejemplo, el trabajo de meta-aprendizaje basado en kernels mostró que solo 10 muestras destiladas pueden lograr más del 64% de precisión en CIFAR-10, un benchmark estándar de clasificación de imágenes. Debido a que el conjunto de repetición es tan compacto, las actualizaciones se vuelven mucho más rápidas y prácticas, especialmente cuando los modelos necesitan ser actualizados a menudo.

La destilación de datasets también puede funcionar junto con la destilación de conocimiento para grandes modelos de lenguaje. Un dataset destilado pequeño puede mantener las señales de tarea más importantes del modelo docente, por lo que un modelo estudiante comprimido puede ser entrenado o actualizado de manera más eficiente sin perder mucho rendimiento. Dado que estos datasets son diminutos, son especialmente útiles para el uso en el borde o en el dispositivo, donde el almacenamiento y la computación son limitados pero aun así deseas que el modelo siga siendo preciso después de las actualizaciones.

Link to this sectionPros y contras de la destilación de datos#

Aquí tienes algunos beneficios de usar la destilación de datasets:

• Ideal para experimentos rápidos. Puedes probar nuevas arquitecturas, pérdidas o hiperparámetros sin volver a entrenar con un dataset enorme cada vez.
• Potencial ventaja de privacidad. Compartir muestras sintéticas destiladas puede ser más seguro que compartir puntos de datos reales de los usuarios, ya que los ejemplos sin procesar no están expuestos directamente.
• A menudo más fuerte que la simple selección de subconjuntos. En lugar de simplemente seleccionar ejemplos, la destilación los optimiza activamente para que sean máximamente informativos.

Aunque la destilación de datasets ofrece varias ventajas, aquí tienes algunas limitaciones a tener en cuenta:

• Sobreajuste: Los datos destilados a menudo funcionan mejor para la arquitectura utilizada durante la destilación y pueden transferirse mal a modelos muy diferentes.
• Sensible a los hiperparámetros. Los resultados pueden depender mucho de factores como la tasa de aprendizaje, la inicialización o el número de pasos de destilación.
• Más difícil de escalar a la complejidad del mundo real. Los métodos que funcionan bien en benchmarks pueden perder precisión en datasets grandes, desordenados o de alta resolución.

Link to this sectionConclusiones clave#

La destilación de datasets hace posible que un pequeño conjunto de muestras sintéticas enseñe a un modelo casi tan eficazmente como un dataset completo. Esto hace que el aprendizaje automático sea más rápido, más eficiente y más fácil de escalar. A medida que los modelos crecen y requieren más datos, los datasets destilados ofrecen una forma práctica de reducir los costes de computación sin sacrificar la precisión.

Únete a nuestra comunidad y echa un vistazo a nuestro repositorio de GitHub para descubrir más sobre IA. Si buscas construir tu propio proyecto de IA de visión, consulta nuestras opciones de licencia. Explora más sobre aplicaciones como IA en la sanidad y IA de visión en el comercio minorista visitando nuestras páginas de soluciones.