Diffusion Forcing

A difusão forçada é um método de treino para geradores de sequências em que cada token de uma sequência, como um fotograma de vídeo ou uma ação de robô, recebe o seu próprio nível de ruído amostrado de forma independente, e um modelo causal aprende a remover o ruído de cada token considerando um histórico parcialmente ruidoso. Um único modelo treinado desta forma consegue gerar uma sequência passo a passo, como um modelo de linguagem de grande porte (LLM) que prevê o token seguinte, e também orientar todo o futuro para um objetivo, como um modelo de difusão de sequência completa. Boyuan Chen, Diego Martí Monsó, Yilun Du, Max Simchowitz, Russ Tedrake e Vincent Sitzmann, do MIT, apresentaram o método em julho de 2024 no artigo Diffusion Forcing: Next-token Prediction Meets Full-Sequence Diffusion, publicado na NeurIPS 2024.

Ruído como mascaramento parcial#

O teacher forcing treina um modelo autorregressivo para prever o token seguinte a partir de um histórico limpo e de referência; por isso, durante a geração, o modelo encontra pela primeira vez as suas próprias saídas imperfeitas, e as sequências longas de geração de vídeo perdem coerência à medida que os erros se acumulam. A difusão de sequência completa remove o ruído de todos os fotogramas em simultâneo, com um único nível de ruído, o que permite orientação, mas fixa o comprimento da sequência e impede a adaptação a novas observações feitas a meio do processo.

A difusão forçada trata o ruído como mascaramento parcial: um token limpo fica totalmente visível, o ruído puro oculta-o por completo e cada nível intermédio oculta-o parcialmente. O treino com níveis de ruído independentes por token ensina ao modelo todas as combinações de uma só vez, incluindo um passado limpo com o fotograma seguinte totalmente ruidoso, que corresponde à previsão do token seguinte, e um nível de ruído igual em todos os fotogramas, que corresponde à difusão de sequência completa. O artigo demonstra que este objetivo otimiza um limite inferior variacional da verosimilhança de todas as subsequências. A implementação de referência, Causal Diffusion Forcing, usou uma rede neural recorrente cujo estado oculto resume o histórico ruidoso, e os autores lançaram mais tarde uma versão com Transformer.

Programações de amostragem#

Como qualquer combinação de níveis de ruído faz parte da distribuição de treino, a geração pode seguir uma programação bidimensional ao longo das passagens de remoção do ruído e dos fotogramas. A programação em ziguezague do artigo começa a remover o ruído de cada fotograma um pouco mais tarde do que do fotograma anterior:

import torch

torch.manual_seed(0)
frames, levels = 5, 4  # a 5-frame clip; noise levels run from 0 (clean) to 4 (pure noise)

# Training: every frame gets its own random noise level, so any mix of clean and noisy frames is seen
print("Training noise levels:", torch.randint(0, levels + 1, (frames,)).tolist())

# Sampling with a zig-zag schedule: each row is one denoising pass over all frames, and frame i
# starts denoising i passes after frame 0, so the near future is always cleaner than the far future
for step in range(levels + frames):
    row = [min(max(levels - step + i, 0), levels) for i in range(frames)]
    print(f"pass {step}: {row}")

A linha de treino mostra níveis como [4, 4, 3, 0, 3] para um clipe, uma combinação que não é usada no treino por teacher forcing nem por difusão de sequência completa. Na programação, a linha 0 corresponde a ruído puro e, na passagem 4, o primeiro fotograma está limpo, enquanto o quinto continua totalmente ruidoso; o clipe fica concluído após 8 passagens. O artigo usa este padrão para planeamento porque considera o futuro imediato mais previsível do que o futuro distante.

As gerações longas usam outro truque. Condicionar cada novo fotograma a cópias ligeiramente ruidosas dos fotogramas já gerados, em vez de cópias limpas, torna o modelo tolerante aos seus próprios erros pequenos. No conjunto de dados de navegação DMLab, um modelo treinado com clipes de 36 fotogramas gerou sequências de 2.000 fotogramas sem divergir, ao contrário dos modelos de referência, que divergiram.

Orientação, planeamento e robótica#

A orientação para sequências completas também se aplica: uma recompensa ou um objetivo pode orientar os fotogramas futuros ruidosos durante a amostragem. O método Monte Carlo Guidance do artigo gera vários futuros possíveis e calcula a média dos respetivos gradientes de orientação, melhorando os resultados em tarefas de planeamento de labirintos usadas na investigação de aprendizagem por reforço. Em robótica, os autores recorreram à aprendizagem por imitação para treinar um braço robótico real a trocar duas frutas usando um terceiro espaço, uma tarefa que exige memória porque as frutas começam em espaços aleatórios. A difusão forçada foi bem-sucedida em 80% das tentativas, enquanto a Diffusion Policy sem memória falhou; mesmo com distrações visuais e com a câmara totalmente tapada, o método ainda teve uma taxa de sucesso de 76%, contra 48% para um modelo de referência de difusão do fotograma seguinte, que tratava os fotogramas corrompidos como dados de referência. O mesmo modelo também foi eficaz na previsão de séries temporais.

Difusão forçada em modelos de vídeo#

O Diffusion Forcing Transformer (DFoT) do grupo do MIT, apresentado no artigo History-Guided Video Diffusion em fevereiro de 2025, condiciona a geração a qualquer número de fotogramas anteriores e usa esse histórico como sinal de orientação. O SkyReels-V2 da Skywork AI, lançado em abril de 2025, ajusta um modelo de vídeo pré-treinado de sequência completa para o transformar num modelo de difusão forçada cujos níveis de ruído nunca diminuem de um fotograma para o seguinte, permitindo prolongar vídeos em blocos sucessivos. Os modelos de mundo de vídeo, que preveem como uma cena evolui em resposta às ações de um agente de IA, precisam do mesmo tipo de geração causal estável. A coerência dos objetos numa geração longa pode ser medida com o rastreamento de objetos: a Ultralytics YOLO26 no modo de rastreamento atribui a cada objeto detetado um ID persistente entre fotogramas, pelo que um carro que mantém o mesmo ID de rastreamento ao longo de um clipe gerado preserva a sua identidade.

Difusão forçada e conceitos relacionados#

• Modelos de linguagem de difusão: removem em paralelo as máscaras dos tokens de texto discretos ao longo de várias etapas, com uma única proporção de mascaramento partilhada em cada etapa.
• Políticas de difusão: removem o ruído de um bloco de ações de robô com o mesmo nível de ruído em todas as ações, condicionadas a observações limpas.
• Difusão de texto para vídeo: a maioria dos sistemas gera um clipe de comprimento fixo com difusão de sequência completa, enquanto as variantes de difusão forçada prolongam os clipes para além desse limite, um bloco de cada vez.