Stable Diffusion

Stable Diffusion es una familia de modelos de texto a imagen de pesos abiertos de Stability AI que generan y editan imágenes a partir de indicaciones en lenguaje natural. La primera versión, publicada en agosto de 2022, surgió de una colaboración con el grupo CompVis de LMU Múnich y Runway y aplicó su investigación sobre difusión latente a imágenes de 512×512 de un subconjunto del conjunto de datos LAION-5B. Su U-Net de 860 millones de parámetros y su codificador de texto de 123 millones de parámetros se ejecutaban en una GPU de consumo con al menos 10 GB de memoria; como cualquiera podía descargar los pesos, se convirtió en la base de un amplio ecosistema de modelos ajustados, adaptadores y herramientas de edición. La versión actual, Stable Diffusion 3.5, de octubre de 2024, sustituye la U-Net por un Transformer de difusión multimodal entrenado con flujo rectificado.

Cómo funciona Stable Diffusion#

Stable Diffusion es un modelo de difusión que elimina el ruido de una imagen comprimida, en lugar de hacerlo de los píxeles, mediante tres redes:

• Autoencoder variacional (VAE): El codificador comprime una imagen de 512×512×3 en una representación latente de 64×64×4, con 48 veces menos valores, y el decodificador convierte la representación latente final de nuevo en una imagen. Todo el proceso de eliminación del ruido se realiza en la pequeña representación latente, lo que permite ejecutar el modelo en hardware de consumo.
• Codificador de texto: Convierte la indicación, de hasta 77 tokens, en incrustaciones. Stable Diffusion 1.x utiliza ViT-L/14 de OpenAI CLIP, 2.x utiliza OpenCLIP ViT-H/14, SDXL combina dos codificadores CLIP y Stable Diffusion 3 añade un modelo de lenguaje T5-XXL a los dos codificadores CLIP para comprender mejor las indicaciones.
• Red de eliminación del ruido: Predice el ruido que hay que eliminar en cada paso. Las versiones 1.x, 2.x y SDXL utilizan una U-Net, cuyas capas de atención cruzada permiten que las características de imagen presten atención a las incrustaciones de texto; las versiones 3 y 3.5 utilizan una MMDiT que procesa conjuntamente los tokens de imagen y texto.

La generación comienza con una representación latente aleatoria de 64×64×4. Un planificador ejecuta la red de eliminación del ruido normalmente entre 20 y 50 pasos, eliminando cada vez parte del ruido predicho; la guía sin clasificador refuerza la influencia de la indicación. A continuación, el decodificador VAE genera la imagen:

Como la representación latente inicial es aleatoria, una misma indicación con una semilla distinta produce una imagen diferente; con la misma semilla y los mismos ajustes, el resultado se repite.

Versiones del modelo#

• Stable Diffusion 1.x (2022): Generación de 512×512 con una U-Net de 860 M de parámetros; la versión 1.5 se convirtió en una base habitual para los ajustes de la comunidad y el artículo sobre ControlNet se basó en ella. Los pesos utilizan la licencia CreativeML OpenRAIL-M.
• Stable Diffusion 2.x (finales de 2022): Cambió al codificador de texto OpenCLIP y añadió un modelo de 768×768.
• SDXL (julio de 2023): Generación nativa de 1024×1024 con una U-Net de unos 2.600 millones de parámetros y dos codificadores de texto. SDXL Turbo, publicado ese noviembre, utiliza destilación adversarial de difusión para generar una imagen en un solo paso.
• Stable Diffusion 3 y 3.5 (2024): Sustituyen la U-Net por un Transformer de flujo rectificado que tiene pesos independientes para los tokens de imagen y texto. Stable Diffusion 3.5 Large tiene 8.100 millones de parámetros y 3.5 Medium, 2.500 millones. La licencia comunitaria de Stability AI permite el uso comercial gratuito a las organizaciones con menos de un millón de dólares de ingresos anuales.

Edición de imágenes con Stable Diffusion#

• De imagen a imagen: Codifica una imagen existente, le añade ruido hasta un paso intermedio establecido mediante un valor de intensidad y elimina el ruido con una nueva indicación; así, el resultado conserva la composición y los colores originales, pero cambia el estilo o el contenido.
• Ajuste fino: DreamBooth y LoRA adaptan el modelo a un nuevo tema o estilo a partir de unas pocas decenas de imágenes, y ControlNet añade mapas de bordes, profundidad o poses como condiciones estructurales.
• Relleno de imágenes: Regenera solo una región enmascarada para que coincida con una indicación y con su entorno. Los puntos de control de relleno de Stable Diffusion añaden cinco canales de entrada a la U-Net: cuatro para la imagen enmascarada codificada y uno para la propia máscara.

Las máscaras de relleno son blancas en las zonas que deben cambiar y negras en las que deben conservarse. Los modelos de segmentación de instancias de Ultralytics YOLO26 generan esas máscaras automáticamente; por ejemplo, para sustituir o eliminar todos los vehículos de una clase en una foto de una calle:

import cv2
from ultralytics import YOLO

# Segmenta el autobús (clase 5 de COCO) con un modelo YOLO26 de segmentación de instancias
model = YOLO("yolo26n-seg.pt")
results = model("https://ultralytics.com/images/bus.jpg", classes=[5], retina_masks=True)
result = results[0]

# El blanco indica los píxeles que Stable Diffusion debe volver a pintar; el negro, los que debe conservar
mask = (result.masks.data.sum(dim=0) > 0).cpu().numpy().astype("uint8") * 255
cv2.imwrite("bus_inpaint_mask.png", mask)

El bus_inpaint_mask.png guardado tiene la resolución completa de la foto porque retina_masks=True devuelve máscaras del tamaño original de la imagen. A partir de la foto, esta máscara y una indicación como «un autobús rojo de dos pisos», un proceso de relleno regenera el autobús y conserva la calle que lo rodea.

Aplicaciones en el mundo real#

• Datos sintéticos para modelos de visión: Los equipos generan imágenes de defectos poco frecuentes, condiciones meteorológicas inusuales o puntos de vista poco comunes para completar las carencias de los conjuntos de datos de entrenamiento, y usan el relleno para insertar objetos nuevos en fondos reales.
• Arte conceptual y diseño: Los estudios de videojuegos, arquitectos y diseñadores de productos exploran muchos estilos y composiciones en cuestión de minutos durante las primeras fases del trabajo conceptual.
• Imágenes de marketing y comercio electrónico: La transformación de imagen a imagen y ControlNet mantienen fija la forma de un producto mientras la indicación modifica el entorno, la iluminación y el fondo.

Stable Diffusion y modelos relacionados#

• Modelos de difusión latente: Stable Diffusion es la implementación más conocida de la arquitectura de difusión latente, por lo que todos los modelos Stable Diffusion son modelos de difusión latente.
• GAN: Generan una imagen en una sola pasada hacia delante, pero su entrenamiento es menos estable y abarcan menos variedad. Stable Diffusion necesita muchos pasos de eliminación del ruido, salvo que se destile, como ocurre con SDXL Turbo.
• Generadores cerrados: Servicios como los modelos de imagen de OpenAI y Midjourney solo funcionan en los servidores de sus proveedores. Los pesos de Stable Diffusion se pueden descargar, ejecutar sin conexión, inspeccionar y ajustar.
• FLUX.1: Black Forest Labs, fundada en 2024 por investigadores que participaron en el artículo original sobre difusión latente, entre ellos Robin Rombach, Andreas Blattmann y Patrick Esser, publicó la familia FLUX.1, de 12.000 millones de parámetros, que utiliza el mismo enfoque de Transformer de flujo rectificado que Stable Diffusion 3.