Consistency Models
Los modelos de consistencia asignan cualquier punto ruidoso de una trayectoria de difusión directamente a datos limpios, por lo que generan imágenes en uno o dos pasos. Descubre cómo se entrenan.
Un modelo de consistencia es un modelo de IA generativa que asigna cualquier punto de la trayectoria de eliminación de ruido de un modelo de difusión directamente a su punto inicial limpio, de modo que puede convertir ruido puro en una muestra con una sola evaluación de la red. Los modelos de difusión alcanzan el mismo resultado eliminando el ruido en decenas o cientos de pasos pequeños, lo que los hace lentos para la inferencia en tiempo real. Yang Song, Prafulla Dhariwal, Mark Chen e Ilya Sutskever, de OpenAI, presentaron los modelos de consistencia en marzo de 2023 en el artículo Consistency Models; informaron de puntuaciones de distancia de Inception de Fréchet (FID) de 3.55 en CIFAR-10 y 6.20 en ImageNet 64 x 64 con un solo paso, los mejores resultados de un paso en aquel momento.
La propiedad de consistencia#
El muestreo de difusión puede expresarse como una ecuación diferencial ordinaria (ODE) de flujo de probabilidad, que vincula cada muestra de ruido con exactamente una muestra de datos a lo largo de una trayectoria determinista. Todos los puntos de esa trayectoria, desde un nivel de ruido bajo hasta el ruido puro, comparten el mismo origen. Una función de consistencia f(x, t) toma un punto x con nivel de ruido t y devuelve el origen; la autoconsistencia significa que devuelve la misma salida para todos los puntos de una trayectoria. Con el nivel de ruido mínimo, la función debe devolver la entrada sin cambios, una condición de contorno incorporada a la red mediante una conexión residual cuyo peso para la entrada es 1 en ese nivel y cuyo peso para la salida de la red neuronal es 0.
Para datos gaussianos unidimensionales, la función de consistencia tiene una forma cerrada que muestra ambas propiedades en unas pocas líneas de PyTorch:
import torch
torch.manual_seed(0)
mu, s, T = 2.0, 0.5, 80.0 # data distribution N(2, 0.5^2); noise levels run from 0 to T = 80
def consistency_fn(x, t):
"""Exact consistency function for Gaussian data: map x at noise level t to its trajectory's clean origin."""
return mu + (x - mu) * s / (s**2 + t**2) ** 0.5
# Points on one probability-flow ODE trajectory, from the clean sample 2.6 out to pure noise
t = torch.tensor([0.0, 1.0, 10.0, 80.0])
x_t = mu + (2.6 - mu) * (s**2 + t**2) ** 0.5 / s
print("x_t: ", x_t.numpy().round(2))
print("f(x_t, t):", consistency_fn(x_t, t).numpy().round(2))
# One-step generation: draw noise at t = T and map it to data with a single call
samples = consistency_fn(T * torch.randn(100_000), T)
print(f"One-step samples: mean {samples.mean():.2f}, std {samples.std():.2f}")Los cuatro puntos de la trayectoria, en 2.6, 3.34, 14.01 y 98.0, vuelven todos a 2.6; una sola llamada convierte 100 000 muestras de ruido puro en muestras con una media de 1.99 y una desviación típica de 0.50, que coinciden con la distribución de los datos. Las imágenes no tienen una fórmula equivalente, así que una red aprende f a partir de los datos.
Entrenamiento mediante destilación o desde cero#
- Destilación de consistencia: un modelo de difusión preentrenado y un solucionador de ODE desplazan una muestra ruidosa un paso hasta un nivel de ruido menor, y la función de pérdida aproxima las salidas del modelo en ambos puntos.
- Entrenamiento de consistencia: no necesita profesor. Crea dos puntos adyacentes añadiendo la misma muestra de ruido a una imagen limpia en dos niveles de ruido, lo que aproxima la trayectoria sin resolver la ODE.
En el artículo original, la salida en el punto con menos ruido procedía de una media móvil exponencial (EMA) de los propios pesos del modelo, una copia que se actualiza lentamente para evitar que el objetivo cambie en cada paso. Ultralytics YOLO26 mantiene el mismo tipo de promedio durante el entrenamiento: actualiza una copia EMA del modelo después de cada paso del optimizador, con un decaimiento que aumenta progresivamente hasta 0.9999, y la validación y los puntos de control last.pt y best.pt guardados usan esa copia. El entrenamiento de consistencia mejorado (iCT) de Song y Dhariwal, de octubre de 2023, fijó en cero el decaimiento EMA de esa copia objetivo, sustituyó la pérdida perceptual LPIPS por una pérdida Pseudo-Huber y alcanzó FID de un paso de 2.51 en CIFAR-10 y 3.25 en ImageNet 64 x 64 sin un modelo de difusión preentrenado. En octubre de 2024, sCM en tiempo continuo de Cheng Lu y Yang Song amplió el enfoque a 1.500 millones de parámetros, con un FID de dos pasos de 1.88 en ImageNet 512 x 512.
Muestreo en varios pasos y edición sin ejemplos#
Un solo paso ofrece la muestra más rápida, y unos pocos pasos más mejoran la calidad. El muestreo en varios pasos alterna un salto a los datos limpios con la reintroducción de ruido a un nivel menor, de modo que cada pasada refina la estimación anterior:
El mismo ciclo permite editar imágenes sin entrenamiento específico para la tarea. Sustituir los píxeles conocidos después de cada salto lo convierte en relleno de imágenes, y restringir una versión reducida o en escala de grises lo convierte en superresolución o colorización; el artículo original demostró las tres aplicaciones.
Usos y métodos relacionados#
- Modelos de consistencia latente (LCM): destilan Stable Diffusion en un modelo que funciona en su espacio latente y llevan la generación de texto a imagen en uno a cuatro pasos a los modelos abiertos en octubre de 2023.
- Políticas de difusión: controladores robóticos que eliminan el ruido de secuencias de acciones. En 2024, Aaditya Prasad y sus colaboradores de Stanford y Princeton las destilaron en una política de consistencia, que aceleró la inferencia en un orden de magnitud respecto a la alternativa más rápida y se ejecutó en una GPU de portátil.
- Flujo rectificado: endereza las propias trayectorias del ruido a los datos, para que un solucionador de ODE convencional necesite pocos pasos.
- Destilación progresiva: El método de 2022 de Tim Salimans y Jonathan Ho reduce a la mitad el número de pasos de un modelo de difusión en cada ronda de destilación, hasta llegar a 4 pasos tras muchas rondas, mientras que la destilación por consistencia entrena directamente un salto de un solo paso.










