Latent Consistency Models (LCMs)
Os modelos de consistência latente (LCMs) destilam o Stable Diffusion num modelo que gera imagens em um a quatro passos. Aborda a destilação, o LCM-LoRA e a velocidade.
Um modelo de consistência latente (LCM) é um modelo de texto para imagem destilado de um modelo de difusão latente, como o Stable Diffusion, para gerar uma imagem em uma a quatro etapas de amostragem, em vez das 20 a 50 habituais. Aplica a ideia do modelo de consistência, uma rede que mapeia qualquer ponto ruidoso do percurso de remoção de ruído diretamente para o seu ponto final limpo, dentro do espaço latente comprimido do modelo original. O codificador de texto e o descodificador de imagem são reutilizados sem alterações, e o aluno parte dos pesos U-Net do professor. Simian Luo, Yiqin Tan, Longbo Huang, Jian Li e Hang Zhao, da Tsinghua University, apresentaram os LCMs em outubro de 2023 no artigo Latent Consistency Models: Synthesizing High-Resolution Images with Few-Step Inference, relatando que o treino de um modelo de 768 x 768 que amostrava em 2 a 4 passos exigiu apenas 32 horas de GPU A100.
Como funciona a destilação de consistência latente#
Um modelo de difusão padrão gera amostras resolvendo uma equação diferencial ordinária (ODE) do fluxo de probabilidade, um pequeno passo de cada vez, desde um latente de ruído puro até um latente limpo, que o descodificador do autoencoder transforma em píxeis. A destilação de consistência latente treina uma cópia aluna da U-Net para percorrer todo esse trajeto numa única chamada. Em cada passo de treino, o professor congelado dá um passo do resolvedor de ODE ao longo da trajetória, e o aluno tem de prever o mesmo latente limpo a partir das duas extremidades desse passo:
Repetido em instantes aleatórios, este processo aproxima todos os pontos de uma trajetória da mesma saída. Duas alterações fazem com que funcione em modelos de texto para imagem. O passo do professor já inclui orientação sem classificador à escala w, e w é fornecido como entrada ao aluno, pelo que as imagens guiadas requerem uma passagem direta em vez de duas. Um esquema de saltos de passos faz o professor saltar k instantes de cada vez, em vez de um, acelerando a convergência. Uma variante sem professor, o ajuste fino de consistência latente, adapta um LCM existente a um conjunto de dados personalizado.
A destilação de consistência é uma forma de destilação de conhecimento, o padrão professor-aluno que o treino do Ultralytics YOLO26 também suporta através do argumento distill_model: treinar yolo26n.pt com distill_model="yolo26s.pt" faz com que o aluno nano corresponda aos mapas de características do modelo maior, aumentando o mAP do aluno no COCO sem custo adicional na inferência.
Amostragem em quatro passos#
Um LCM faz amostragens alternando saltos e adição de ruído. Prevê o latente limpo a partir do ruído puro, adiciona ruído novo para devolver essa previsão a um instante menor, volta a fazer uma previsão e descodifica a última. O LCMScheduler em Hugging Face diffusers escolhe esses instantes a partir do esquema de treino de 1000 passos do Stable Diffusion:
from diffusers import DDIMScheduler, LCMScheduler
# Stable Diffusion's 1,000-step training noise schedule
config = {"num_train_timesteps": 1000, "beta_start": 0.00085, "beta_end": 0.012, "beta_schedule": "scaled_linear"}
ddim = DDIMScheduler(**config)
lcm = LCMScheduler(**config)
# A standard sampler visits 50 noise levels; an LCM jumps to a clean latent from each of 4
ddim.set_timesteps(50)
lcm.set_timesteps(4)
print(f"DDIM: {len(ddim.timesteps)} steps, starting {ddim.timesteps[:4].tolist()} ...")
print(f"LCM: {len(lcm.timesteps)} steps, {lcm.timesteps.tolist()}")O amostrador DDIM percorre os instantes a partir de 980, em passos de 20, com uma chamada à U-Net por passo, enquanto o LCM visita apenas os instantes 999, 759, 499 e 259. Cada passo adicional permite ao modelo corrigir detalhes da previsão anterior, pelo que a qualidade aumenta de um para quatro passos.
LCM-LoRA e utilizações em tempo real#
Um mês após a publicação do artigo original, os autores e engenheiros da Hugging Face lançaram o LCM-LoRA, que armazena a destilação como um adaptador LoRA, em vez de um conjunto completo de pesos novos. Treinaram-no para Stable Diffusion v1.5, SSD-1B e SDXL, e pode ser usado com checkpoints ajustados e LoRAs de estilo do mesmo modelo base sem treino adicional. A amostragem em poucos passos tornou possível a inferência em tempo real em ferramentas interativas: o pipeline de código aberto StreamDiffusion executou LCM-LoRA com um checkpoint KohakuV2 a 4 passos de remoção de ruído e 38 fotogramas por segundo para texto para imagem numa única GPU RTX 4090.
LCM vs. termos relacionados#
- Modelos de consistência: A formulação original da OpenAI, que funciona diretamente sobre píxeis e foi avaliada com CIFAR-10 e ImageNet 64 x 64. Os LCMs levam a ideia para um espaço latente e acrescentam condicionamento textual e orientação.
- Destilação adversarial de difusão: O SDXL Turbo da Stability AI, também publicado em novembro de 2023, chega a uma a quatro etapas adicionando um discriminador à perda de destilação.
- Modelos de conceitos grandes: Os modelos de conceitos grandes da Meta partilham a abreviatura LCM, mas são modelos de linguagem que preveem embeddings de frases inteiras e não têm relação com a geração de imagens.
- Fluxo retificado: Treina trajetórias de ruído para dados mais retas, para que o amostrador precise de menos passos; é a abordagem usada no Stable Diffusion 3 e no FLUX.










