Modelos de difusión

Los modelos de difusión son una clase de modelos generativos que se han convertido en la piedra angular de la IA generativa moderna. Están diseñados para crear nuevos datos, como imágenes o sonidos, que sean similares a los datos con los que se han entrenado. La idea central se inspira en la termodinámica. El modelo aprende a invertir un proceso de adición gradual de ruido a una imagen hasta convertirla en pura estática. Al aprender este proceso de "eliminación de ruido", el modelo puede empezar con ruido aleatorio y refinarlo progresivamente hasta convertirlo en una muestra coherente y de alta calidad. Este proceso de refinamiento paso a paso es clave para su capacidad de generar resultados muy detallados y realistas.

¿Cómo funcionan los modelos de difusión?

El proceso que subyace a los modelos de difusión consta de dos etapas principales:

1. Proceso hacia delante (difusión): En esta etapa, una imagen clara se degrada sistemáticamente añadiendo una pequeña cantidad de ruido gaussiano a lo largo de muchos pasos. Esto continúa hasta que la imagen es indistinguible del ruido puro. Este proceso hacia adelante es fijo y no implica ningún aprendizaje; simplemente proporciona un objetivo para que el modelo aprenda a invertir.
2. Proceso inverso (eliminación de ruido): Aquí es donde se produce el aprendizaje. Se entrena una red neuronal para tomar una imagen ruidosa del proceso anterior y predecir el ruido añadido en el paso anterior. Al sustraer repetidamente este ruido previsto, el modelo puede empezar con una imagen completamente aleatoria (ruido puro) y transformarla gradualmente en una imagen limpia y clara. Este proceso aprendido de eliminación de ruido es lo que permite al modelo generar nuevos datos a partir de cero. El artículo"Denoising Diffusion Probabilistic Models" sentó las bases de este enfoque.

Modelos de difusión frente a otros modelos generativos

Los modelos de difusión difieren significativamente de otros enfoques generativos populares, como las redes generativas adversariales (GAN).

• Estabilidad del entrenamiento: Los modelos de difusión suelen tener un proceso de entrenamiento más estable que los GAN. Los GAN implican un complejo juego de adversarios entre un generador y un discriminador, que a veces puede ser difícil de equilibrar y no converger.
• Calidad y diversidad de las muestras: Aunque ambos pueden producir resultados de alta calidad, los modelos de difusión suelen sobresalir en la generación de imágenes muy diversas y fotorrealistas, superando a veces a los GAN en determinadas pruebas. Sin embargo, esta calidad puede tener como contrapartida una mayor latencia de inferencia.
• Velocidad de inferencia: Tradicionalmente, los modelos de difusión son más lentos a la hora de generar muestras porque requieren muchos pasos iterativos de eliminación de ruido. En cambio, las GAN pueden generar una muestra en una sola pasada. Sin embargo, la investigación activa y técnicas como la destilación de conocimientos están reduciendo rápidamente esta diferencia de velocidad.

Aplicaciones reales

Los modelos de difusión están impulsando una nueva ola de creatividad e innovación en diversos campos:

• Generación de imágenes de alta fidelidad: Esta es la aplicación más conocida. Los modelos desarrollados por empresas como Stability AI y OpenAI pueden crear imágenes asombrosamente realistas y artísticas a partir de simples mensajes de texto. Algunos ejemplos destacados son Stable Diffusion, DALL-E 3, Midjourney y Google's Imagen. Estas herramientas han transformado el arte digital y la creación de contenidos.
• Edición y repintado de imágenes: No sirven sólo para crear imágenes desde cero. Los modelos de difusión pueden modificar de forma inteligente imágenes existentes a partir de instrucciones, como añadir o eliminar objetos, cambiar estilos artísticos o rellenar partes que faltan en una foto (inpainting). Herramientas como Adobe Firefly aprovechan estas capacidades.
• Síntesis de audio y vídeo: Los principios de la difusión también se aplican a otros tipos de datos. Modelos como AudioLDM pueden generar habla, música y efectos de sonido realistas, mientras que modelos como Sora, de OpenAI, están ampliando los límites de la generación de texto a vídeo.
• Aumento de datos: En visión por ordenador, los modelos de difusión pueden utilizarse para generar datos de entrenamiento sintéticos. Esto resulta especialmente útil para mejorar la robustez de modelos como Ultralytics YOLO en tareas como la detección de objetos o la segmentación de imágenes, sobre todo cuando los datos del mundo real son escasos.

Herramientas y desarrollo

El desarrollo y el uso de modelos de difusión suelen implicar marcos de aprendizaje automático como PyTorch y TensorFlow. Para facilitar el desarrollo, bibliotecas como Hugging Face Diffusers ofrecen modelos y herramientas preentrenados. Mientras que estas herramientas se centran en el modelo generativo en sí, plataformas como Ultralytics HUB pueden ayudar a gestionar el flujo de trabajo más amplio, incluida la gestión y el despliegue de conjuntos de datos, complementando el desarrollo de soluciones integrales de IA. A medida que estos modelos se generalizan, es crucial tener en cuenta la ética de la IA y abordar retos como el sesgo algorítmico.