Consistency Models
Tutarlılık modelleri, difüzyon yörüngesindeki herhangi bir gürültülü noktayı doğrudan temiz veriye eşleyerek tek veya iki adımda görüntü üretir. Nasıl eğitildiklerini öğren.
Tutarlılık modeli, difüzyon modelinin gürültü giderme yörüngesindeki herhangi bir noktayı doğrudan o yörüngenin temiz başlangıç noktasına eşleyen bir üretken AI modelidir; bu sayede tek bir ağ değerlendirmesiyle saf gürültüden örnek oluşturabilir. Difüzyon modelleri aynı sonuca, onlarca ila yüzlerce küçük adımda gürültüyü gidererek ulaşır; bu da gerçek zamanlı çıkarım için yavaş kalmalarına neden olur. OpenAI'dan Yang Song, Prafulla Dhariwal, Mark Chen ve Ilya Sutskever, tutarlılık modellerini Mart 2023'te Tutarlılık Modelleri makalesinde tanıttı. Tek adımlı Fréchet Başlangıç Mesafesi (FID) puanlarının CIFAR-10'da 3,55 ve ImageNet 64 x 64'te 6,20 olduğunu bildirdiler; bu, o dönemdeki en iyi tek adımlı sonuçlardı.
Tutarlılık Özelliği#
Difüzyon örneklemesi, her gürültü örneğini deterministik bir yol boyunca tam olarak bir veri örneğine bağlayan olasılık akışlı adi diferansiyel denklem (ODE) olarak ifade edilebilir. Bu yol üzerindeki, az gürültülü noktadan saf gürültü noktasına kadar her noktanın kaynağı aynıdır. f(x, t) tutarlılık işlevi, t gürültü düzeyindeki x noktasını alıp kaynağı döndürür. Öz tutarlılık, bu işlevin aynı yörüngenin tüm noktaları için aynı çıktıyı döndürmesi demektir. En düşük gürültü düzeyinde işlev, girdisini değiştirmeden döndürmelidir. Bu sınır koşulu, söz konusu düzeyde girdinin ağırlığını 1, nöral ağın çıktısının ağırlığını ise 0 yapan bir atlama bağlantısıyla ağa yerleştirilir.
Tek boyutlu Gauss verileri için tutarlılık işlevinin kapalı biçimli bir çözümü vardır; bu çözüm iki özelliği de birkaç satır PyTorch koduyla gösterir:
import torch
torch.manual_seed(0)
mu, s, T = 2.0, 0.5, 80.0 # data distribution N(2, 0.5^2); noise levels run from 0 to T = 80
def consistency_fn(x, t):
"""Exact consistency function for Gaussian data: map x at noise level t to its trajectory's clean origin."""
return mu + (x - mu) * s / (s**2 + t**2) ** 0.5
# Points on one probability-flow ODE trajectory, from the clean sample 2.6 out to pure noise
t = torch.tensor([0.0, 1.0, 10.0, 80.0])
x_t = mu + (2.6 - mu) * (s**2 + t**2) ** 0.5 / s
print("x_t: ", x_t.numpy().round(2))
print("f(x_t, t):", consistency_fn(x_t, t).numpy().round(2))
# One-step generation: draw noise at t = T and map it to data with a single call
samples = consistency_fn(T * torch.randn(100_000), T)
print(f"One-step samples: mean {samples.mean():.2f}, std {samples.std():.2f}")Yörüngedeki 2,6; 3,34; 14,01 ve 98,0 noktalarının tümü yeniden 2,6 değerine eşlenir. Tek bir çağrı, saf gürültüden alınan 100.000 örneği ortalaması 1,99 ve standart sapması 0,50 olan örneklere dönüştürür; bu değerler veri dağılımıyla örtüşür. Görüntüler için böyle bir formül yoktur; bu nedenle ağ f işlevini verilerden öğrenir.
Damıtmayla veya Sıfırdan Eğitim#
- Tutarlılık damıtması: Önceden eğitilmiş bir difüzyon modeli ile ODE çözücü, gürültülü bir örneği daha düşük gürültü düzeyine tek adımda taşır. Kayıp işlevi, modelin iki noktadaki çıktılarını birbirine yaklaştırır.
- Tutarlılık eğitimi: Öğretmen gerektirmez. ODE'yi çözmeden yörüngeyi tahmin etmek için aynı temiz görüntüye, iki gürültü düzeyinde aynı gürültü örneğini ekleyerek bitişik iki nokta oluşturur.
Özgün makalede, daha az gürültülü noktadaki çıktı modelin kendi ağırlıklarının üstel hareketli ortalamasından (EMA) alınmıştır. Bu, hedefin her adımda değişmesini önleyen, yavaşça güncellenen bir kopyadır. Ultralytics YOLO26, eğitim sırasında aynı tür ortalamayı tutar: Her eniyileyici adımından sonra modelin EMA kopyasını günceller ve bu kopyanın azalma katsayısını kademeli olarak 0,9999'a çıkarır. Doğrulama ile kaydedilen last.pt ve best.pt kontrol noktalarında bu kopya kullanılır. Song ve Dhariwal'ın Ekim 2023 tarihli geliştirilmiş tutarlılık eğitimi (iCT) çalışması, hedef kopyanın EMA azalma katsayısını sıfıra ayarladı, LPIPS algısal kaybını Sözde-Huber kaybıyla değiştirdi ve önceden eğitilmiş bir difüzyon modeli olmadan CIFAR-10'da 2,51, ImageNet 64 x 64'te 3,25 tek adımlı FID değerlerine ulaştı. Cheng Lu ve Yang Song'un sürekli zamanlı sCM yöntemi, Ekim 2024'te yaklaşımı 1,5 milyar parametreye ölçekledi ve ImageNet 512 x 512'de iki adımlı 1,88 FID elde etti.
Çok Adımlı Örnekleme ve Sıfır Örnekli Düzenleme#
Tek adım en hızlı örneği verir; birkaç ek adım ise kaliteyi artırır. Çok adımlı örnekleme, temiz veriye sıçramayla daha düşük gürültü düzeyine yeniden gürültü eklemeyi sırayla uygular; böylece her geçiş önceki tahmini iyileştirir:
Aynı döngü, göreve özel eğitim gerektirmeden görüntüleri düzenler. Her sıçramadan sonra bilinen pikselleri geri koymak, döngüyü görüntü tamamlama işlemine dönüştürür. Küçültülmüş veya gri tonlu bir sürümü kısıtlamak ise süper çözünürlük ya da renklendirme işlemlerini sağlar. Özgün makalede bu üç işlemin tamamı gösterilmiştir.
Kullanımlar ve İlişkili Yöntemler#
- Gizil tutarlılık modelleri (LCM): Stable Diffusion modelini gizil uzayında çalışan bir modele damıtarak, Ekim 2023'te açık modellerde metinden görüntüye üretimi bir ila dört adıma indirdi.
- Difüzyon politikaları: Eylem dizilerinin gürültüsünü gideren robot denetleyicileridir. Stanford ve Princeton'dan Aaditya Prasad ve çalışma arkadaşları, 2024'te bunları Tutarlılık Politikası adlı bir modele damıttı. Bu model, çıkarımı en hızlı alternatiften bir büyüklük mertebesi kadar hızlandırdı ve dizüstü bilgisayar GPU'sunda çalıştı.
- Düzeltilmiş akış: Gürültüden veriye giden yolları düzleştirir; böylece sıradan bir ODE çözücüsü az sayıda adıma ihtiyaç duyar.
- Aşamalı damıtma: Tim Salimans ve Jonathan Ho'nun 2022 tarihli yöntemi, her damıtma turunda bir difüzyon modelinin adım sayısını yarıya indirerek birçok turun ardından 4 adıma ulaşır; tutarlılık damıtması ise doğrudan tek adımlık bir sıçrama için eğitim yapar.










