Latent Consistency Models (LCMs)
Los modelos de consistencia latente (LCM) destilan Stable Diffusion en un modelo que genera imágenes en uno a cuatro pasos. Abarca la destilación, LCM-LoRA y la velocidad.
Un modelo de consistencia latente (LCM) es un modelo de texto a imagen destilado a partir de un modelo de difusión latente, como Stable Diffusion, para generar una imagen en uno a cuatro pasos de muestreo en lugar de los 20 a 50 habituales. Aplica la idea del modelo de consistencia, una red que asigna cualquier punto ruidoso de la trayectoria de eliminación de ruido directamente a su extremo limpio, dentro del espacio latente comprimido del modelo original. El codificador de texto y el decodificador de imágenes se reutilizan sin cambios, y el modelo estudiante parte de los pesos U-Net del profesor. Simian Luo, Yiqin Tan, Longbo Huang, Jian Li y Hang Zhao, de la Universidad de Tsinghua, presentaron los LCM en octubre de 2023 en Latent Consistency Models: Synthesizing High-Resolution Images with Few-Step Inference e informaron de que entrenar un modelo de 768 x 768 que muestrea en 2 a 4 pasos solo requirió 32 horas de GPU A100.
Cómo funciona la destilación de consistencia latente#
Un modelo de difusión estándar genera muestras resolviendo una ecuación diferencial ordinaria (ODE) de flujo de probabilidad, un paso pequeño cada vez, desde un latente de ruido puro hasta un latente limpio que el decodificador del autocodificador convierte en píxeles. La destilación de consistencia latente entrena una copia estudiante de U-Net para completar todo el recorrido en una sola llamada. En cada paso de entrenamiento, el profesor congelado da un paso del solucionador de ODE a lo largo de la trayectoria, y el estudiante debe predecir el mismo latente limpio desde ambos extremos de ese paso:
Al repetirlo en marcas de tiempo aleatorias, todos los puntos de una trayectoria se aproximan a la misma salida. Dos cambios hacen que funcione con modelos de texto a imagen. El paso del profesor ya incluye guía sin clasificador con una escala w, y w pasa a ser una entrada del estudiante, así que generar imágenes con guía cuesta una pasada hacia delante en lugar de dos. Una programación que omite pasos hace que el profesor avance k marcas de tiempo de una vez en lugar de una, lo que acelera la convergencia. Una variante sin profesor, el ajuste fino de consistencia latente, adapta un LCM existente a un conjunto de datos personalizado.
La destilación de consistencia es una forma de destilación de conocimiento, el patrón profesor-estudiante que también admite el entrenamiento de Ultralytics YOLO26 mediante su argumento distill_model: entrenar yolo26n.pt con distill_model="yolo26s.pt" hace que el estudiante nano iguale los mapas de características del modelo más grande, lo que aumenta el mAP del estudiante en COCO sin coste adicional de inferencia.
Muestreo en cuatro pasos#
Un LCM muestrea alternando saltos y la reintroducción de ruido. Predice el latente limpio a partir del ruido puro, añade ruido nuevo para devolver esa predicción a una marca de tiempo menor, vuelve a predecir y decodifica la última predicción. El LCMScheduler de Hugging Face diffusers selecciona esas marcas de tiempo de la programación de entrenamiento de 1 000 pasos de Stable Diffusion:
from diffusers import DDIMScheduler, LCMScheduler
# Stable Diffusion's 1,000-step training noise schedule
config = {"num_train_timesteps": 1000, "beta_start": 0.00085, "beta_end": 0.012, "beta_schedule": "scaled_linear"}
ddim = DDIMScheduler(**config)
lcm = LCMScheduler(**config)
# A standard sampler visits 50 noise levels; an LCM jumps to a clean latent from each of 4
ddim.set_timesteps(50)
lcm.set_timesteps(4)
print(f"DDIM: {len(ddim.timesteps)} steps, starting {ddim.timesteps[:4].tolist()} ...")
print(f"LCM: {len(lcm.timesteps)} steps, {lcm.timesteps.tolist()}")El muestreador DDIM baja desde la marca de tiempo 980 en pasos de 20, con una llamada a U-Net por paso, mientras que el LCM solo visita las marcas de tiempo 999, 759, 499 y 259. Cada paso adicional permite al modelo corregir detalles de la predicción anterior, así que la calidad mejora de uno a cuatro pasos.
LCM-LoRA y usos en tiempo real#
Un mes después del artículo original, los autores y los ingenieros de Hugging Face publicaron LCM-LoRA, que almacena la destilación como un adaptador LoRA en lugar de un conjunto completo de pesos nuevos. Lo entrenaron para Stable Diffusion v1.5, SSD-1B y SDXL, y funciona con puntos de control ajustados con ajuste fino y LoRA de estilo del mismo modelo base sin entrenamiento adicional. El muestreo en pocos pasos hizo posible la inferencia en tiempo real para herramientas interactivas: la canalización de código abierto StreamDiffusion ejecutó LCM-LoRA con un punto de control KohakuV2 a 4 pasos de eliminación de ruido y 38 fotogramas por segundo para generar texto a imagen en una sola GPU RTX 4090.
LCM y términos relacionados#
- Modelos de consistencia: formulación original de OpenAI, que funciona directamente con píxeles y se evaluó con CIFAR-10 e ImageNet 64 x 64. Los LCM trasladan el método a un espacio latente y añaden condicionamiento y guía de texto.
- Destilación de difusión adversaria: SDXL Turbo de Stability AI, también de noviembre de 2023, alcanza entre uno y cuatro pasos añadiendo un discriminador a la pérdida de destilación.
- Modelos de conceptos grandes: los modelos de conceptos grandes de Meta comparten la abreviatura LCM, pero son modelos de lenguaje que predicen representaciones incrustadas de oraciones completas y no guardan relación con la generación de imágenes.
- Flujo rectificado: entrena trayectorias más rectas del ruido a los datos para que un muestreador necesite menos pasos; es el enfoque que está detrás de Stable Diffusion 3 y FLUX.










