Latent Consistency Models (LCMs)
Les modèles de cohérence latente (LCM) distillent Stable Diffusion en un modèle qui génère des images en une à quatre étapes. Découvre la distillation, LCM-LoRA et l’accélération.
Un modèle de cohérence latente (LCM) est un modèle texte-image distillé à partir d’un modèle de diffusion latente, comme Stable Diffusion, afin de générer une image en une à quatre étapes d’échantillonnage plutôt que les 20 à 50 habituelles. Il applique l’idée du modèle de cohérence, un réseau qui associe n’importe quel point bruité de la trajectoire de débruitage directement à son extrémité propre, dans l’espace latent compressé du modèle d’origine. L’encodeur de texte et le décodeur d’image sont réutilisés sans modification, et l’étudiant part des poids du U-Net de l’enseignant. En octobre 2023, Simian Luo, Yiqin Tan, Longbo Huang, Jian Li et Hang Zhao de l’Université Tsinghua ont présenté les LCM dans Modèles de cohérence latente : synthèse d’images haute résolution avec une inférence en quelques étapes. Ils indiquent qu’un modèle 768 x 768 échantillonnant en 2 à 4 étapes n’a nécessité que 32 heures GPU A100 d’entraînement.
Fonctionnement de la distillation de cohérence latente#
Un modèle de diffusion standard génère des images en résolvant pas à pas une équation différentielle ordinaire de flux de probabilité (ODE), depuis un latent de bruit pur jusqu’à un latent propre que le décodeur de l’autoencodeur convertit en pixels. La distillation de cohérence latente entraîne une copie étudiante du U-Net à effectuer tout ce parcours en un seul appel. À chaque étape d’entraînement, l’enseignant figé avance d’un pas du solveur ODE le long de la trajectoire, et l’étudiant doit prédire le même latent propre depuis les deux extrémités de ce pas :
Répétée à des pas de temps aléatoires, cette opération attire chaque point d’une trajectoire vers la même sortie. Deux modifications permettent son fonctionnement pour les modèles texte-image. L’étape de l’enseignant intègre déjà le guidage sans classifieur à une échelle w, que l’on transmet comme entrée à l’étudiant ; les images guidées ne nécessitent donc qu’une propagation avant au lieu de deux. Un calendrier de sauts d’étapes fait franchir à l’enseignant k pas de temps d’un coup au lieu d’un seul, ce qui accélère la convergence. Une variante sans enseignant, l’ajustement fin par cohérence latente, adapte un LCM existant à un jeu de données personnalisé.
La distillation de cohérence est une forme de distillation des connaissances, la méthode enseignant-étudiant également prise en charge pendant l’entraînement d’Ultralytics YOLO26 via son argument distill_model : entraîner yolo26n.pt avec distill_model="yolo26s.pt" pousse l’étudiant nano à reproduire les cartes de caractéristiques du modèle plus grand, ce qui améliore la mAP de l’étudiant sur COCO sans coût d’inférence supplémentaire.
Échantillonnage en quatre étapes#
Un LCM échantillonne en alternant sauts et ajout de bruit. Il prédit le latent propre à partir du bruit pur, ajoute du bruit frais pour ramener cette prédiction à un pas de temps plus petit, effectue une nouvelle prédiction, puis décode la dernière. Le LCMScheduler des diffusers de Hugging Face sélectionne ces pas de temps dans le calendrier d’entraînement en 1 000 étapes de Stable Diffusion :
from diffusers import DDIMScheduler, LCMScheduler
# Stable Diffusion's 1,000-step training noise schedule
config = {"num_train_timesteps": 1000, "beta_start": 0.00085, "beta_end": 0.012, "beta_schedule": "scaled_linear"}
ddim = DDIMScheduler(**config)
lcm = LCMScheduler(**config)
# A standard sampler visits 50 noise levels; an LCM jumps to a clean latent from each of 4
ddim.set_timesteps(50)
lcm.set_timesteps(4)
print(f"DDIM: {len(ddim.timesteps)} steps, starting {ddim.timesteps[:4].tolist()} ...")
print(f"LCM: {len(lcm.timesteps)} steps, {lcm.timesteps.tolist()}")L’échantillonneur DDIM descend depuis le pas de temps 980 par incréments de 20, avec un appel U-Net par étape, tandis que le LCM ne passe que par les pas de temps 999, 759, 499 et 259. Chaque étape supplémentaire permet au modèle de corriger les détails de la prédiction précédente : la qualité augmente donc entre une et quatre étapes.
LCM-LoRA et utilisations en temps réel#
Un mois après la publication de l’article original, ses auteurs et les ingénieurs de Hugging Face ont publié LCM-LoRA, qui stocke la distillation sous forme d’adaptateur LoRA plutôt que d’un nouvel ensemble complet de poids. Ils l’ont entraîné pour Stable Diffusion v1.5, SSD-1B et SDXL. L’adaptateur s’intègre aux points de contrôle ajustés finement et aux LoRA de style issus du même modèle de base, sans entraînement supplémentaire. L’échantillonnage en quelques étapes a rendu l’inférence en temps réel possible pour les outils interactifs : le pipeline open source StreamDiffusion exécutait LCM-LoRA avec un point de contrôle KohakuV2 en 4 étapes de débruitage et à 38 images par seconde pour la génération texte-image sur un seul GPU RTX 4090.
LCM et termes connexes#
- Modèles de cohérence : formulation originale d’OpenAI, qui fonctionne directement sur les pixels et a été évaluée sur CIFAR-10 et ImageNet 64 x 64. Les LCM transposent cette approche dans un espace latent et y ajoutent le conditionnement textuel et le guidage.
- Distillation adversariale de diffusion : SDXL Turbo de Stability AI, également publié en novembre 2023, atteint une à quatre étapes en ajoutant un discriminateur à la fonction de perte de distillation.
- Grands modèles de concepts : les grands modèles de concepts de Meta partagent l’abréviation LCM, mais ce sont des modèles de langage qui prédisent des plongements de phrases entières, sans lien avec la génération d’images.
- Flux rectifié : entraîne des trajectoires bruit-données plus rectilignes pour réduire le nombre d’étapes de l’échantillonneur ; cette approche est à la base de Stable Diffusion 3 et de FLUX.










