Licencia YOLO
Volver al glosario de Ultralytics

Latent Consistency Models (LCMs)

Los modelos de consistencia latente (LCM) destilan Stable Diffusion en un modelo que genera imágenes en uno a cuatro pasos. Abarca la destilación, LCM-LoRA y la velocidad.

Un modelo de consistencia latente (LCM) es un modelo de texto a imagen destilado a partir de un modelo de difusión latente, como Stable Diffusion, para generar una imagen en uno a cuatro pasos de muestreo en lugar de los 20 a 50 habituales. Aplica la idea del modelo de consistencia, una red que asigna cualquier punto ruidoso de la trayectoria de eliminación de ruido directamente a su extremo limpio, dentro del espacio latente comprimido del modelo original. El codificador de texto y el decodificador de imágenes se reutilizan sin cambios, y el modelo estudiante parte de los pesos U-Net del profesor. Simian Luo, Yiqin Tan, Longbo Huang, Jian Li y Hang Zhao, de la Universidad de Tsinghua, presentaron los LCM en octubre de 2023 en Latent Consistency Models: Synthesizing High-Resolution Images with Few-Step Inference e informaron de que entrenar un modelo de 768 x 768 que muestrea en 2 a 4 pasos solo requirió 32 horas de GPU A100.

Cómo funciona la destilación de consistencia latente#

Un modelo de difusión estándar genera muestras resolviendo una ecuación diferencial ordinaria (ODE) de flujo de probabilidad, un paso pequeño cada vez, desde un latente de ruido puro hasta un latente limpio que el decodificador del autocodificador convierte en píxeles. La destilación de consistencia latente entrena una copia estudiante de U-Net para completar todo el recorrido en una sola llamada. En cada paso de entrenamiento, el profesor congelado da un paso del solucionador de ODE a lo largo de la trayectoria, y el estudiante debe predecir el mismo latente limpio desde ambos extremos de ese paso:

Al repetirlo en marcas de tiempo aleatorias, todos los puntos de una trayectoria se aproximan a la misma salida. Dos cambios hacen que funcione con modelos de texto a imagen. El paso del profesor ya incluye guía sin clasificador con una escala w, y w pasa a ser una entrada del estudiante, así que generar imágenes con guía cuesta una pasada hacia delante en lugar de dos. Una programación que omite pasos hace que el profesor avance k marcas de tiempo de una vez en lugar de una, lo que acelera la convergencia. Una variante sin profesor, el ajuste fino de consistencia latente, adapta un LCM existente a un conjunto de datos personalizado.

La destilación de consistencia es una forma de destilación de conocimiento, el patrón profesor-estudiante que también admite el entrenamiento de Ultralytics YOLO26 mediante su argumento distill_model: entrenar yolo26n.pt con distill_model="yolo26s.pt" hace que el estudiante nano iguale los mapas de características del modelo más grande, lo que aumenta el mAP del estudiante en COCO sin coste adicional de inferencia.

Muestreo en cuatro pasos#

Un LCM muestrea alternando saltos y la reintroducción de ruido. Predice el latente limpio a partir del ruido puro, añade ruido nuevo para devolver esa predicción a una marca de tiempo menor, vuelve a predecir y decodifica la última predicción. El LCMScheduler de Hugging Face diffusers selecciona esas marcas de tiempo de la programación de entrenamiento de 1 000 pasos de Stable Diffusion:

from diffusers import DDIMScheduler, LCMScheduler

# Stable Diffusion's 1,000-step training noise schedule
config = {"num_train_timesteps": 1000, "beta_start": 0.00085, "beta_end": 0.012, "beta_schedule": "scaled_linear"}
ddim = DDIMScheduler(**config)
lcm = LCMScheduler(**config)

# A standard sampler visits 50 noise levels; an LCM jumps to a clean latent from each of 4
ddim.set_timesteps(50)
lcm.set_timesteps(4)
print(f"DDIM: {len(ddim.timesteps)} steps, starting {ddim.timesteps[:4].tolist()} ...")
print(f"LCM:  {len(lcm.timesteps)} steps, {lcm.timesteps.tolist()}")

El muestreador DDIM baja desde la marca de tiempo 980 en pasos de 20, con una llamada a U-Net por paso, mientras que el LCM solo visita las marcas de tiempo 999, 759, 499 y 259. Cada paso adicional permite al modelo corregir detalles de la predicción anterior, así que la calidad mejora de uno a cuatro pasos.

LCM-LoRA y usos en tiempo real#

Un mes después del artículo original, los autores y los ingenieros de Hugging Face publicaron LCM-LoRA, que almacena la destilación como un adaptador LoRA en lugar de un conjunto completo de pesos nuevos. Lo entrenaron para Stable Diffusion v1.5, SSD-1B y SDXL, y funciona con puntos de control ajustados con ajuste fino y LoRA de estilo del mismo modelo base sin entrenamiento adicional. El muestreo en pocos pasos hizo posible la inferencia en tiempo real para herramientas interactivas: la canalización de código abierto StreamDiffusion ejecutó LCM-LoRA con un punto de control KohakuV2 a 4 pasos de eliminación de ruido y 38 fotogramas por segundo para generar texto a imagen en una sola GPU RTX 4090.

  • Modelos de consistencia: formulación original de OpenAI, que funciona directamente con píxeles y se evaluó con CIFAR-10 e ImageNet 64 x 64. Los LCM trasladan el método a un espacio latente y añaden condicionamiento y guía de texto.
  • Destilación de difusión adversaria: SDXL Turbo de Stability AI, también de noviembre de 2023, alcanza entre uno y cuatro pasos añadiendo un discriminador a la pérdida de destilación.
  • Modelos de conceptos grandes: los modelos de conceptos grandes de Meta comparten la abreviatura LCM, pero son modelos de lenguaje que predicen representaciones incrustadas de oraciones completas y no guardan relación con la generación de imágenes.
  • Flujo rectificado: entrena trayectorias más rectas del ruido a los datos para que un muestreador necesite menos pasos; es el enfoque que está detrás de Stable Diffusion 3 y FLUX.

Explora las soluciones

Visión artificial en el deporte

Visión artificial en el deporte

Descubre cómo Ultralytics YOLO impulsa la visión artificial en el deporte con el seguimiento de jugadores y balones, analíticas de rendimiento, información útil para entrenadores y rehabilitación de deportistas.
Más información
Visión artificial para imágenes aéreas

Visión artificial para imágenes aéreas

Convierte imágenes aéreas y de drones en información útil en tiempo real para la agricultura, la acuicultura, la conservación y el análisis geoespacial con Ultralytics YOLO.
Más información
Visión artificial en el sector aeroespacial

Visión artificial en el sector aeroespacial

Aplica la visión artificial en el sector aeroespacial con Ultralytics YOLO para inspeccionar aeronaves, detectar objetos extraños en pistas, gestionar operaciones en tierra y detectar defectos en materiales compuestos.
Más información
Visión artificial en seguridad

Visión artificial en seguridad

Protege todas tus instalaciones con los modelos Ultralytics YOLO. La IA visual permite supervisar perímetros, detectar amenazas, reconocer matrículas y mejorar la seguridad laboral.
Más información
Visión artificial en robótica

Visión artificial en robótica

Potencia máquinas más inteligentes con los modelos Ultralytics YOLO. La IA visual en robótica impulsa la navegación autónoma, la percepción, el seguimiento de objetos y el control en tiempo real.
Más información
Visión artificial en logística

Visión artificial en logística

Agiliza la logística con modelos Ultralytics YOLO. La IA visual permite inspeccionar paquetes, clasificarlos, realizar el seguimiento de vehículos y supervisar la seguridad del almacén en tiempo real.
Más información
Visión artificial en el comercio minorista

Visión artificial en el comercio minorista

Reinventa el comercio minorista con modelos Ultralytics YOLO. La IA visual permite realizar el seguimiento del inventario, supervisar estanterías, gestionar colas y obtener información más útil sobre los clientes.
Más información
Visión artificial en el sector sanitario

Visión artificial en el sector sanitario

Desarrolla soluciones sanitarias con modelos Ultralytics YOLO. La IA visual en el sector sanitario permite acelerar el diagnóstico por imagen, mejorar los diagnósticos y supervisar a los pacientes.
Más información
Visión artificial en la fabricación

Visión artificial en la fabricación

Optimiza la fabricación con modelos Ultralytics YOLO. La IA visual mejora el control de calidad, la detección de defectos, el cumplimiento de las normas de uso de EPI y la automatización de las líneas de montaje.
Más información
Visión artificial en la automoción

Visión artificial en la automoción

Aplica la visión artificial al sector de la automoción con modelos Ultralytics YOLO. La IA visual mejora la seguridad vial, la asistencia al conductor y la automatización de vehículos para lograr carreteras más inteligentes.
Más información
Visión artificial en la agricultura

Visión artificial en la agricultura

Incorpora la IA de visión a la agricultura inteligente con modelos Ultralytics YOLO. Impulsa la monitorización de cultivos, el seguimiento del ganado y la agricultura de precisión para obtener cosechas más abundantes e inteligentes.
Más información

¡Construyamos juntos el futuro de la IA!

Inicia tu recorrido hacia el futuro del aprendizaje automático