Diffusion Forcing

Difüzyon zorlaması, video karesi veya robot eylemi gibi bir dizinin her token'ına birbirinden bağımsız biçimde örneklenen bir gürültü düzeyi atayan ve nedensel bir modelin her token'daki gürültüyü kısmen gürültülü bir geçmişi kullanarak gidermeyi öğrendiği, dizi üreteçlerine yönelik bir eğitim yöntemidir. Bu şekilde eğitilen tek bir model, büyük dil modelinin (LLM) bir sonraki token'ı tahmin etmesi gibi diziyi adım adım oluşturabilir ve tam dizi difüzyon modelinin yaptığı gibi tüm geleceği bir hedefe yönlendirebilir. MIT'den Boyuan Chen, Diego Martí Monsó, Yilun Du, Max Simchowitz, Russ Tedrake ve Vincent Sitzmann, yöntemi Temmuz 2024'te Diffusion Forcing: Next-token Prediction Meets Full-Sequence Diffusion makalesinde tanıttı; makale NeurIPS 2024'te yayımlandı.

Kısmi Maskeleme Olarak Gürültü#

Öğretmen zorlaması, otoregresif bir modeli temiz ve gerçek geçmişten sonraki token'ı tahmin edecek şekilde eğitir. Bu nedenle üretim sırasında model ilk kez kendi kusurlu çıktılarıyla karşılaşır ve uzun video üretimi sırasında hatalar biriktikçe sonuçlar sapar. Tam dizi difüzyonu her karedeki gürültüyü aynı düzeyde ve birlikte giderir; bu, yönlendirmeyi mümkün kılsa da dizi uzunluğunu sabitler ve süreç ortasında gelen yeni gözlemlere uyum sağlayamaz.

Difüzyon zorlaması, gürültüyü kısmi maskeleme olarak ele alır: Temiz bir token tamamen görünürdür, saf gürültü token'ı bütünüyle gizler, ikisi arasındaki her düzey ise token'ın bir kısmını gizler. Token başına bağımsız gürültü düzeyleriyle eğitim, tek bir modele her bileşimi aynı anda öğretir; bunlara sonraki token tahmini olan temiz geçmiş ve tamamen gürültülü bir sonraki kare ile tam dizi difüzyonu olan her karede eşit gürültü durumu da dahildir. Makale, bu amaç fonksiyonunun tüm alt dizilerin olabilirliği için varyasyonel bir alt sınırı optimize ettiğini kanıtlar. Referans uygulaması Causal Diffusion Forcing, gürültülü geçmişi özetleyen gizli duruma sahip bir yinelemeli sinir ağı kullanıyordu; yazarlar daha sonra bir dönüştürücü sürümü yayımladı.

Örnekleme Çizelgeleri#

Herhangi bir gürültü düzeyi karışımı dağılım içi olduğundan, üretim; gürültü giderme geçişleri ve kareler üzerinde iki boyutlu bir çizelge izleyebilir. Makalenin zikzaklı çizelgesinde her karenin gürültüsü, bir önceki karenin gürültüsünden biraz daha geç giderilmeye başlanır:

import torch

torch.manual_seed(0)
frames, levels = 5, 4  # a 5-frame clip; noise levels run from 0 (clean) to 4 (pure noise)

# Training: every frame gets its own random noise level, so any mix of clean and noisy frames is seen
print("Training noise levels:", torch.randint(0, levels + 1, (frames,)).tolist())

# Sampling with a zig-zag schedule: each row is one denoising pass over all frames, and frame i
# starts denoising i passes after frame 0, so the near future is always cleaner than the far future
for step in range(levels + frames):
    row = [min(max(levels - step + i, 0), levels) for i in range(frames)]
    print(f"pass {step}: {row}")

Eğitim çizgisi, tek bir klip için [4, 4, 3, 0, 3] gibi düzeyler çizer; bu, ne öğretmen zorlamasının ne de tam dizi difüzyonunun kullandığı bir karışımdır. Çizelgede 0. satır saf gürültüyü gösterir; 4. geçişte ilk kare temizlenirken beşinci kare hâlâ tamamen gürültülüdür. Klip 8 geçişin ardından tamamlanır. Makale, yakın geleceği uzak gelecekten daha kesin kabul ettiği için bu biçimi planlamada kullanır.

Uzun diziler iki numaradan yararlanır. Her yeni kareyi, daha önce üretilmiş karelerin temiz kopyaları yerine biraz gürültülü kopyalarına dayandırmak, modeli kendi küçük hatalarına karşı daha dayanıklı kılar. DMLab navigasyon veri kümesinde 36 karelik kliplerle eğitilen bir model, başlangıç çizgileri saparken 2.000 kare boyunca sapmadan ilerledi.

Yönlendirme, Planlama ve Robotik#

Tam dizi yönlendirmesi de kullanılabilir: Örnekleme sırasında bir ödül veya hedef, gürültülü gelecek kareleri yönlendirebilir. Makalenin Monte Carlo Yönlendirmesi, birkaç olası gelecek çizer ve yönlendirme gradyanlarının ortalamasını alır; bu yöntem, pekiştirmeli öğrenme araştırmalarında kullanılan labirent planlama görevlerinin sonuçlarını iyileştirdi. Robotik için yazarlar, gerçek bir robot koluna iki meyveyi üçüncü bir yuvayı kullanarak yer değiştirmeyi öğretmek amacıyla taklit öğrenmesi kullandı. Meyveler rastgele yuvalarda başladığından bu görev bellek gerektirir. Belleksiz Diffusion Policy'nin başarısız olduğu yerde difüzyon zorlaması görevi %80 oranında başardı; görsel dikkat dağıtıcılar varken ve kamera tamamen kapatıldığında bile %76 başarıya ulaştı. Gerçek doğru kabul edilen bozulmuş kareleri kullanan bir sonraki kare difüzyonu temel modelinin başarısıysa %48'di. Aynı model zaman serisi tahmini de yaptı.

Video Modellerinde Difüzyon Zorlaması#

MIT ekibinin, Şubat 2025'te yayımlanan History-Guided Video Diffusion makalesindeki Difüzyon Zorlamalı Dönüştürücüsü (DFoT), istenen sayıda geçmiş kareyi koşullandırma olarak kullanır ve bu geçmişi bir yönlendirme sinyali olarak değerlendirir. Skywork AI'nin Nisan 2025'te yayımlanan SkyReels-V2 modeli, önceden eğitilmiş tam dizi video modelini, gürültü düzeyleri bir kareden sonrakine hiçbir zaman azalmayan bir difüzyon zorlama modeline dönüştürerek videoların parça parça uzatılmasını sağlar. Bir sahnenin yapay zekâ aracısının eylemleriyle nasıl değişeceğini tahmin eden video dünya modelleri, aynı türden kararlı nedensel ilerlemeye ihtiyaç duyar. Uzun bir ilerleyişte nesnelerin tutarlı kalıp kalmadığı nesne takibi ile ölçülebilir: Takip modundaki Ultralytics YOLO26, algılanan her nesneye kareler boyunca korunan bir kimlik atar; böylece üretilen bir klip boyunca aynı takip kimliğini koruyan bir otomobil kimliğini de korumuş olur.

Difüzyon Zorlaması ve İlgili Kavramlar#

• Difüzyon dil modelleri: Ayrık metin token'larının maskesini birkaç adım boyunca paralel olarak kaldırır ve her adımda ortak bir maskeleme oranı kullanır.
• Difüzyon politikaları: Temiz gözlemlerle koşullandırılmış robot eylemlerinden oluşan bir parçadaki gürültüyü giderir ve tüm eylemlerde aynı gürültü düzeyini kullanır.
• Metinden videoya difüzyonu: Çoğu sistem, tam dizi difüzyonuyla sabit uzunlukta bir klip üretir; difüzyon zorlaması kullanan modeller ise klipleri her seferinde bir parça uzatır.