Licenciar o YOLO
Voltar ao glossário da Ultralytics

Consistency Models

Modelos de consistência mapeiam qualquer ponto ruidoso de uma trajetória de difusão diretamente para dados limpos, gerando imagens em uma ou duas etapas. Veja como são treinados.

Um modelo de consistência é um modelo de IA generativa que mapeia qualquer ponto da trajetória de remoção de ruído de um modelo de difusão diretamente para o ponto inicial limpo dessa trajetória, podendo assim transformar ruído puro numa amostra com uma única avaliação da rede. Os modelos de difusão obtêm o mesmo resultado removendo ruído em dezenas ou centenas de pequenos passos, o que os torna lentos para a inferência em tempo real. Yang Song, Prafulla Dhariwal, Mark Chen e Ilya Sutskever, da OpenAI, apresentaram os modelos de consistência em março de 2023 no artigo Consistency Models, relatando pontuações de distância de Fréchet Inception (FID) de 3,55 no CIFAR-10 e 6,20 no ImageNet 64 x 64 com um único passo, os melhores resultados obtidos até então com um só passo.

A propriedade de consistência#

A amostragem por difusão pode ser expressa como uma equação diferencial ordinária (ODE) do fluxo de probabilidade, que liga cada amostra de ruído a uma única amostra de dados através de um percurso determinístico. Todos os pontos desse percurso, desde os ligeiramente ruidosos até ao ruído puro, partilham a mesma origem. Uma função de consistência f(x, t) recebe um ponto x no nível de ruído t e devolve a origem; há autoconsistência quando devolve a mesma saída para todos os pontos de uma trajetória. No nível de ruído mais baixo, a função tem de devolver a sua entrada sem alterações. Esta condição de fronteira é incorporada na rede com uma ligação residual cujo peso sobre a entrada é 1 nesse nível e cujo peso sobre a saída da rede neural é 0.

Para dados gaussianos unidimensionais, a função de consistência tem uma forma fechada que mostra ambas as propriedades em poucas linhas de PyTorch:

import torch

torch.manual_seed(0)
mu, s, T = 2.0, 0.5, 80.0  # data distribution N(2, 0.5^2); noise levels run from 0 to T = 80


def consistency_fn(x, t):
    """Exact consistency function for Gaussian data: map x at noise level t to its trajectory's clean origin."""
    return mu + (x - mu) * s / (s**2 + t**2) ** 0.5


# Points on one probability-flow ODE trajectory, from the clean sample 2.6 out to pure noise
t = torch.tensor([0.0, 1.0, 10.0, 80.0])
x_t = mu + (2.6 - mu) * (s**2 + t**2) ** 0.5 / s
print("x_t:      ", x_t.numpy().round(2))
print("f(x_t, t):", consistency_fn(x_t, t).numpy().round(2))

# One-step generation: draw noise at t = T and map it to data with a single call
samples = consistency_fn(T * torch.randn(100_000), T)
print(f"One-step samples: mean {samples.mean():.2f}, std {samples.std():.2f}")

Os quatro pontos da trajetória — 2,6, 3,34, 14,01 e 98,0 — são todos mapeados de volta para 2,6. Uma única chamada transforma 100 000 amostras de ruído puro em amostras com média de 1,99 e desvio-padrão de 0,50, correspondendo à distribuição dos dados. As imagens não têm uma fórmula deste tipo, pelo que uma rede aprende f a partir dos dados.

Treino por destilação ou do zero#

  • Destilação de consistência: Um modelo de difusão pré-treinado e um resolvedor de ODE avançam uma amostra ruidosa um passo até a um nível de ruído inferior, e a função de perda aproxima as saídas do modelo nos dois pontos.
  • Treino de consistência: Não precisa de um professor. Cria os dois pontos adjacentes adicionando a mesma amostra de ruído a uma imagem limpa em dois níveis de ruído, estimando assim a trajetória sem resolver a ODE.

No artigo original, a saída no ponto menos ruidoso vinha de uma média móvel exponencial (EMA) dos próprios pesos do modelo, uma cópia atualizada lentamente que impede a deslocação do alvo a cada passo. O Ultralytics YOLO26 mantém o mesmo tipo de média durante o treino: atualiza uma cópia EMA do modelo após cada passo do otimizador, com um decaimento que aumenta gradualmente até 0,9999, e a validação e os checkpoints last.pt e best.pt guardados usam essa cópia. O treino de consistência melhorado (iCT) de Song e Dhariwal, de outubro de 2023, definiu como zero o decaimento EMA dessa cópia-alvo, substituiu a perda percetiva LPIPS pela perda Pseudo-Huber e alcançou FIDs de 2,51 no CIFAR-10 e 3,25 no ImageNet 64 x 64 com um único passo, sem um modelo de difusão pré-treinado. O sCM em tempo contínuo de Cheng Lu e Yang Song ampliou a abordagem para 1,5 mil milhões de parâmetros em outubro de 2024, com um FID de 1,88 no ImageNet 512 x 512 em dois passos.

Amostragem em vários passos e edição zero-shot#

Um passo produz a amostra mais rapidamente, e mais alguns passos melhoram a qualidade. A amostragem em vários passos alterna um salto para dados limpos com a adição de novo ruído até um nível inferior, de modo que cada passagem aperfeiçoa a estimativa anterior:

O mesmo ciclo edita imagens sem treino específico para a tarefa. Substituir os píxeis conhecidos após cada salto transforma-o em preenchimento de imagens; restringir uma versão reduzida ou em escala de cinzentos transforma-o em super-resolução ou colorização. O artigo original demonstrou os três casos.

  • Modelos de consistência latente (LCMs): Destilam o Stable Diffusion num modelo que funciona no respetivo espaço latente, permitindo gerar imagens de texto para imagem em um a quatro passos com modelos abertos, em outubro de 2023.
  • Políticas de difusão: Controladores robóticos que removem ruído de sequências de ações. Em 2024, Aaditya Prasad e colegas de Stanford e Princeton destilaram-nas numa Consistency Policy, que acelerou a inferência em uma ordem de grandeza em relação à alternativa mais rápida e funcionava numa GPU de portátil.
  • Fluxo retificado: Endireita as próprias trajetórias do ruído para os dados, permitindo que um resolvedor de ODE comum funcione com poucos passos.
  • Destilação progressiva: O método de Tim Salimans e Jonathan Ho, de 2022, reduz pela metade o número de etapas de um modelo de difusão em cada rodada de destilação, chegando a 4 etapas após muitas rodadas; já a destilação por consistência treina diretamente um salto de uma etapa.

Explore as soluções

Visão computacional no desporto

Visão computacional no desporto

Descubra como o Ultralytics YOLO impulsiona a visão computacional no esporte com rastreamento de jogadores e bolas, análise de desempenho, insights para treinadores e reabilitação de atletas.
Saiba mais
Visão computacional para imagens aéreas

Visão computacional para imagens aéreas

Transforma imagens de drones e aéreas em informações em tempo real para a agricultura, a aquacultura, a conservação e a análise geoespacial com Ultralytics YOLO.
Saiba mais
Visão computacional no setor aeroespacial

Visão computacional no setor aeroespacial

Aplica visão computacional na indústria aeroespacial com Ultralytics YOLO para inspecionar aeronaves, detetar objetos estranhos na pista (FOD), apoiar operações aeroportuárias em terra e detetar defeitos em materiais compósitos.
Saiba mais
Visão computacional na segurança

Visão computacional na segurança

Protege todas as instalações com os modelos Ultralytics YOLO. A IA visual permite monitorizar perímetros, detetar ameaças, reconhecer matrículas e melhorar a segurança no local de trabalho.
Saiba mais
Visão computacional na robótica

Visão computacional na robótica

Potencia máquinas mais inteligentes com os modelos Ultralytics YOLO. A IA visual na robótica permite navegação autónoma, perceção, rastreamento de objetos e controlo em tempo real.
Saiba mais
Visão computacional na logística

Visão computacional na logística

Otimize a logística com os modelos Ultralytics YOLO. A IA de visão permite inspecionar pacotes, fazer triagem, rastrear veículos e monitorar a segurança em tempo real nos armazéns.
Saiba mais
Visão computacional no varejo

Visão computacional no varejo

Reinvente o varejo com os modelos Ultralytics YOLO. A IA de visão permite rastrear o estoque, monitorar prateleiras, gerenciar filas e obter insights mais inteligentes sobre clientes.
Saiba mais
Visão computacional na área da saúde

Visão computacional na área da saúde

Desenvolva soluções de saúde com os modelos Ultralytics YOLO. A IA de visão na área da saúde permite obter imagens médicas mais rapidamente, diagnósticos mais inteligentes e monitoramento de pacientes.
Saiba mais
Visão computacional na manufatura

Visão computacional na manufatura

Otimize a manufatura com modelos Ultralytics YOLO. A IA visual impulsiona o controle de qualidade, a detecção de defeitos, a conformidade com o uso de EPI e a automação da linha de montagem.
Saiba mais
Visão computacional no setor automotivo

Visão computacional no setor automotivo

Aplique visão computacional no setor automotivo com modelos Ultralytics YOLO. A IA visual aumenta a segurança viária, aprimora a assistência ao condutor e viabiliza a automação de veículos para estradas mais inteligentes.
Saiba mais
Visão computacional na agricultura

Visão computacional na agricultura

Leve a IA de visão à agricultura inteligente com os modelos Ultralytics YOLO. Aprimore o monitoramento de plantações, o rastreamento de animais e a agricultura de precisão para obter safras maiores e mais inteligentes.
Saiba mais

Vamos construir juntos o futuro da IA!

Comece sua jornada rumo ao futuro do aprendizado de máquina