Licence YOLO
Retour au glossaire Ultralytics

Latent Consistency Models (LCMs)

Les modèles de cohérence latente (LCM) distillent Stable Diffusion en un modèle qui génère des images en une à quatre étapes. Découvre la distillation, LCM-LoRA et l’accélération.

Un modèle de cohérence latente (LCM) est un modèle texte-image distillé à partir d’un modèle de diffusion latente, comme Stable Diffusion, afin de générer une image en une à quatre étapes d’échantillonnage plutôt que les 20 à 50 habituelles. Il applique l’idée du modèle de cohérence, un réseau qui associe n’importe quel point bruité de la trajectoire de débruitage directement à son extrémité propre, dans l’espace latent compressé du modèle d’origine. L’encodeur de texte et le décodeur d’image sont réutilisés sans modification, et l’étudiant part des poids du U-Net de l’enseignant. En octobre 2023, Simian Luo, Yiqin Tan, Longbo Huang, Jian Li et Hang Zhao de l’Université Tsinghua ont présenté les LCM dans Modèles de cohérence latente : synthèse d’images haute résolution avec une inférence en quelques étapes. Ils indiquent qu’un modèle 768 x 768 échantillonnant en 2 à 4 étapes n’a nécessité que 32 heures GPU A100 d’entraînement.

Fonctionnement de la distillation de cohérence latente#

Un modèle de diffusion standard génère des images en résolvant pas à pas une équation différentielle ordinaire de flux de probabilité (ODE), depuis un latent de bruit pur jusqu’à un latent propre que le décodeur de l’autoencodeur convertit en pixels. La distillation de cohérence latente entraîne une copie étudiante du U-Net à effectuer tout ce parcours en un seul appel. À chaque étape d’entraînement, l’enseignant figé avance d’un pas du solveur ODE le long de la trajectoire, et l’étudiant doit prédire le même latent propre depuis les deux extrémités de ce pas :

Répétée à des pas de temps aléatoires, cette opération attire chaque point d’une trajectoire vers la même sortie. Deux modifications permettent son fonctionnement pour les modèles texte-image. L’étape de l’enseignant intègre déjà le guidage sans classifieur à une échelle w, que l’on transmet comme entrée à l’étudiant ; les images guidées ne nécessitent donc qu’une propagation avant au lieu de deux. Un calendrier de sauts d’étapes fait franchir à l’enseignant k pas de temps d’un coup au lieu d’un seul, ce qui accélère la convergence. Une variante sans enseignant, l’ajustement fin par cohérence latente, adapte un LCM existant à un jeu de données personnalisé.

La distillation de cohérence est une forme de distillation des connaissances, la méthode enseignant-étudiant également prise en charge pendant l’entraînement d’Ultralytics YOLO26 via son argument distill_model : entraîner yolo26n.pt avec distill_model="yolo26s.pt" pousse l’étudiant nano à reproduire les cartes de caractéristiques du modèle plus grand, ce qui améliore la mAP de l’étudiant sur COCO sans coût d’inférence supplémentaire.

Échantillonnage en quatre étapes#

Un LCM échantillonne en alternant sauts et ajout de bruit. Il prédit le latent propre à partir du bruit pur, ajoute du bruit frais pour ramener cette prédiction à un pas de temps plus petit, effectue une nouvelle prédiction, puis décode la dernière. Le LCMScheduler des diffusers de Hugging Face sélectionne ces pas de temps dans le calendrier d’entraînement en 1 000 étapes de Stable Diffusion :

from diffusers import DDIMScheduler, LCMScheduler

# Stable Diffusion's 1,000-step training noise schedule
config = {"num_train_timesteps": 1000, "beta_start": 0.00085, "beta_end": 0.012, "beta_schedule": "scaled_linear"}
ddim = DDIMScheduler(**config)
lcm = LCMScheduler(**config)

# A standard sampler visits 50 noise levels; an LCM jumps to a clean latent from each of 4
ddim.set_timesteps(50)
lcm.set_timesteps(4)
print(f"DDIM: {len(ddim.timesteps)} steps, starting {ddim.timesteps[:4].tolist()} ...")
print(f"LCM:  {len(lcm.timesteps)} steps, {lcm.timesteps.tolist()}")

L’échantillonneur DDIM descend depuis le pas de temps 980 par incréments de 20, avec un appel U-Net par étape, tandis que le LCM ne passe que par les pas de temps 999, 759, 499 et 259. Chaque étape supplémentaire permet au modèle de corriger les détails de la prédiction précédente : la qualité augmente donc entre une et quatre étapes.

LCM-LoRA et utilisations en temps réel#

Un mois après la publication de l’article original, ses auteurs et les ingénieurs de Hugging Face ont publié LCM-LoRA, qui stocke la distillation sous forme d’adaptateur LoRA plutôt que d’un nouvel ensemble complet de poids. Ils l’ont entraîné pour Stable Diffusion v1.5, SSD-1B et SDXL. L’adaptateur s’intègre aux points de contrôle ajustés finement et aux LoRA de style issus du même modèle de base, sans entraînement supplémentaire. L’échantillonnage en quelques étapes a rendu l’inférence en temps réel possible pour les outils interactifs : le pipeline open source StreamDiffusion exécutait LCM-LoRA avec un point de contrôle KohakuV2 en 4 étapes de débruitage et à 38 images par seconde pour la génération texte-image sur un seul GPU RTX 4090.

  • Modèles de cohérence : formulation originale d’OpenAI, qui fonctionne directement sur les pixels et a été évaluée sur CIFAR-10 et ImageNet 64 x 64. Les LCM transposent cette approche dans un espace latent et y ajoutent le conditionnement textuel et le guidage.
  • Distillation adversariale de diffusion : SDXL Turbo de Stability AI, également publié en novembre 2023, atteint une à quatre étapes en ajoutant un discriminateur à la fonction de perte de distillation.
  • Grands modèles de concepts : les grands modèles de concepts de Meta partagent l’abréviation LCM, mais ce sont des modèles de langage qui prédisent des plongements de phrases entières, sans lien avec la génération d’images.
  • Flux rectifié : entraîne des trajectoires bruit-données plus rectilignes pour réduire le nombre d’étapes de l’échantillonneur ; cette approche est à la base de Stable Diffusion 3 et de FLUX.

Découvre les solutions

La vision par ordinateur dans le sport

La vision par ordinateur dans le sport

Découvre comment Ultralytics YOLO propulse la vision par ordinateur dans le sport grâce au suivi des joueurs et du ballon, aux analyses de performance, aux conseils d’entraînement et à la rééducation des athlètes.
En savoir plus
Vision par ordinateur pour les images aériennes

Vision par ordinateur pour les images aériennes

Transforme les images de drones et les images aériennes en informations exploitables en temps réel pour l’agriculture, l’aquaculture, la conservation et l’analyse géospatiale avec Ultralytics YOLO.
En savoir plus
Vision par ordinateur dans l’aérospatiale

Vision par ordinateur dans l’aérospatiale

Applique la vision par ordinateur dans l’aérospatiale avec Ultralytics YOLO pour l’inspection des aéronefs, la détection des corps étrangers sur les pistes, les opérations au sol des aéroports et la détection des défauts des matériaux composites.
En savoir plus
La vision par ordinateur dans la sécurité

La vision par ordinateur dans la sécurité

Protège chaque site avec les modèles Ultralytics YOLO. L’IA visuelle permet la surveillance des périmètres, la détection des menaces, la reconnaissance des plaques d’immatriculation et la sécurité au travail.
En savoir plus
La vision par ordinateur en robotique

La vision par ordinateur en robotique

Donne plus de capacités à tes machines grâce aux modèles Ultralytics YOLO. Dans la robotique, l’IA visuelle permet la navigation autonome, la perception, le suivi des objets et le contrôle en temps réel.
En savoir plus
La vision par ordinateur dans la logistique

La vision par ordinateur dans la logistique

Optimise la logistique avec les modèles Ultralytics YOLO. La vision par IA permet d’inspecter les colis, de les trier, de suivre les véhicules et de surveiller la sécurité des entrepôts en temps réel.
En savoir plus
La vision par ordinateur dans le commerce de détail

La vision par ordinateur dans le commerce de détail

Réinvente le commerce de détail avec les modèles Ultralytics YOLO. La vision par IA permet de suivre les stocks, de surveiller les rayons, de gérer les files d’attente et de mieux comprendre les clients.
En savoir plus
La vision par ordinateur dans le secteur de la santé

La vision par ordinateur dans le secteur de la santé

Crée des solutions de santé avec les modèles Ultralytics YOLO. La vision par IA dans le secteur de la santé accélère l’imagerie médicale, améliore les diagnostics et facilite la surveillance des patients.
En savoir plus
La vision par ordinateur dans l’industrie manufacturière

La vision par ordinateur dans l’industrie manufacturière

Optimise la fabrication avec les modèles Ultralytics YOLO. La vision par IA améliore le contrôle qualité, la détection des défauts, le respect des règles concernant les EPI et l’automatisation des chaînes de montage.
En savoir plus
La vision par ordinateur dans l’automobile

La vision par ordinateur dans l’automobile

Mets la vision par ordinateur au service de l’automobile avec les modèles Ultralytics YOLO. La vision par IA renforce la sécurité routière, l’aide à la conduite et l’automatisation des véhicules pour des routes plus intelligentes.
En savoir plus
Vision par ordinateur dans l’agriculture

Vision par ordinateur dans l’agriculture

Fais entrer l’IA de vision dans l’agriculture intelligente avec les modèles Ultralytics YOLO. Optimise le suivi des cultures et du bétail ainsi que l’agriculture de précision pour obtenir des rendements plus élevés et plus intelligents.
En savoir plus

Construisons ensemble l’avenir de l’IA !

Commence ton parcours vers l’avenir de l’apprentissage automatique