YOLO'yu lisansla
Ultralytics Sözlüğüne dön

Consistency Models

Tutarlılık modelleri, difüzyon yörüngesindeki herhangi bir gürültülü noktayı doğrudan temiz veriye eşleyerek tek veya iki adımda görüntü üretir. Nasıl eğitildiklerini öğren.

Tutarlılık modeli, difüzyon modelinin gürültü giderme yörüngesindeki herhangi bir noktayı doğrudan o yörüngenin temiz başlangıç noktasına eşleyen bir üretken AI modelidir; bu sayede tek bir ağ değerlendirmesiyle saf gürültüden örnek oluşturabilir. Difüzyon modelleri aynı sonuca, onlarca ila yüzlerce küçük adımda gürültüyü gidererek ulaşır; bu da gerçek zamanlı çıkarım için yavaş kalmalarına neden olur. OpenAI'dan Yang Song, Prafulla Dhariwal, Mark Chen ve Ilya Sutskever, tutarlılık modellerini Mart 2023'te Tutarlılık Modelleri makalesinde tanıttı. Tek adımlı Fréchet Başlangıç Mesafesi (FID) puanlarının CIFAR-10'da 3,55 ve ImageNet 64 x 64'te 6,20 olduğunu bildirdiler; bu, o dönemdeki en iyi tek adımlı sonuçlardı.

Tutarlılık Özelliği#

Difüzyon örneklemesi, her gürültü örneğini deterministik bir yol boyunca tam olarak bir veri örneğine bağlayan olasılık akışlı adi diferansiyel denklem (ODE) olarak ifade edilebilir. Bu yol üzerindeki, az gürültülü noktadan saf gürültü noktasına kadar her noktanın kaynağı aynıdır. f(x, t) tutarlılık işlevi, t gürültü düzeyindeki x noktasını alıp kaynağı döndürür. Öz tutarlılık, bu işlevin aynı yörüngenin tüm noktaları için aynı çıktıyı döndürmesi demektir. En düşük gürültü düzeyinde işlev, girdisini değiştirmeden döndürmelidir. Bu sınır koşulu, söz konusu düzeyde girdinin ağırlığını 1, nöral ağın çıktısının ağırlığını ise 0 yapan bir atlama bağlantısıyla ağa yerleştirilir.

Tek boyutlu Gauss verileri için tutarlılık işlevinin kapalı biçimli bir çözümü vardır; bu çözüm iki özelliği de birkaç satır PyTorch koduyla gösterir:

import torch

torch.manual_seed(0)
mu, s, T = 2.0, 0.5, 80.0  # data distribution N(2, 0.5^2); noise levels run from 0 to T = 80


def consistency_fn(x, t):
    """Exact consistency function for Gaussian data: map x at noise level t to its trajectory's clean origin."""
    return mu + (x - mu) * s / (s**2 + t**2) ** 0.5


# Points on one probability-flow ODE trajectory, from the clean sample 2.6 out to pure noise
t = torch.tensor([0.0, 1.0, 10.0, 80.0])
x_t = mu + (2.6 - mu) * (s**2 + t**2) ** 0.5 / s
print("x_t:      ", x_t.numpy().round(2))
print("f(x_t, t):", consistency_fn(x_t, t).numpy().round(2))

# One-step generation: draw noise at t = T and map it to data with a single call
samples = consistency_fn(T * torch.randn(100_000), T)
print(f"One-step samples: mean {samples.mean():.2f}, std {samples.std():.2f}")

Yörüngedeki 2,6; 3,34; 14,01 ve 98,0 noktalarının tümü yeniden 2,6 değerine eşlenir. Tek bir çağrı, saf gürültüden alınan 100.000 örneği ortalaması 1,99 ve standart sapması 0,50 olan örneklere dönüştürür; bu değerler veri dağılımıyla örtüşür. Görüntüler için böyle bir formül yoktur; bu nedenle ağ f işlevini verilerden öğrenir.

Damıtmayla veya Sıfırdan Eğitim#

  • Tutarlılık damıtması: Önceden eğitilmiş bir difüzyon modeli ile ODE çözücü, gürültülü bir örneği daha düşük gürültü düzeyine tek adımda taşır. Kayıp işlevi, modelin iki noktadaki çıktılarını birbirine yaklaştırır.
  • Tutarlılık eğitimi: Öğretmen gerektirmez. ODE'yi çözmeden yörüngeyi tahmin etmek için aynı temiz görüntüye, iki gürültü düzeyinde aynı gürültü örneğini ekleyerek bitişik iki nokta oluşturur.

Özgün makalede, daha az gürültülü noktadaki çıktı modelin kendi ağırlıklarının üstel hareketli ortalamasından (EMA) alınmıştır. Bu, hedefin her adımda değişmesini önleyen, yavaşça güncellenen bir kopyadır. Ultralytics YOLO26, eğitim sırasında aynı tür ortalamayı tutar: Her eniyileyici adımından sonra modelin EMA kopyasını günceller ve bu kopyanın azalma katsayısını kademeli olarak 0,9999'a çıkarır. Doğrulama ile kaydedilen last.pt ve best.pt kontrol noktalarında bu kopya kullanılır. Song ve Dhariwal'ın Ekim 2023 tarihli geliştirilmiş tutarlılık eğitimi (iCT) çalışması, hedef kopyanın EMA azalma katsayısını sıfıra ayarladı, LPIPS algısal kaybını Sözde-Huber kaybıyla değiştirdi ve önceden eğitilmiş bir difüzyon modeli olmadan CIFAR-10'da 2,51, ImageNet 64 x 64'te 3,25 tek adımlı FID değerlerine ulaştı. Cheng Lu ve Yang Song'un sürekli zamanlı sCM yöntemi, Ekim 2024'te yaklaşımı 1,5 milyar parametreye ölçekledi ve ImageNet 512 x 512'de iki adımlı 1,88 FID elde etti.

Çok Adımlı Örnekleme ve Sıfır Örnekli Düzenleme#

Tek adım en hızlı örneği verir; birkaç ek adım ise kaliteyi artırır. Çok adımlı örnekleme, temiz veriye sıçramayla daha düşük gürültü düzeyine yeniden gürültü eklemeyi sırayla uygular; böylece her geçiş önceki tahmini iyileştirir:

Aynı döngü, göreve özel eğitim gerektirmeden görüntüleri düzenler. Her sıçramadan sonra bilinen pikselleri geri koymak, döngüyü görüntü tamamlama işlemine dönüştürür. Küçültülmüş veya gri tonlu bir sürümü kısıtlamak ise süper çözünürlük ya da renklendirme işlemlerini sağlar. Özgün makalede bu üç işlemin tamamı gösterilmiştir.

  • Gizil tutarlılık modelleri (LCM): Stable Diffusion modelini gizil uzayında çalışan bir modele damıtarak, Ekim 2023'te açık modellerde metinden görüntüye üretimi bir ila dört adıma indirdi.
  • Difüzyon politikaları: Eylem dizilerinin gürültüsünü gideren robot denetleyicileridir. Stanford ve Princeton'dan Aaditya Prasad ve çalışma arkadaşları, 2024'te bunları Tutarlılık Politikası adlı bir modele damıttı. Bu model, çıkarımı en hızlı alternatiften bir büyüklük mertebesi kadar hızlandırdı ve dizüstü bilgisayar GPU'sunda çalıştı.
  • Düzeltilmiş akış: Gürültüden veriye giden yolları düzleştirir; böylece sıradan bir ODE çözücüsü az sayıda adıma ihtiyaç duyar.
  • Aşamalı damıtma: Tim Salimans ve Jonathan Ho'nun 2022 tarihli yöntemi, her damıtma turunda bir difüzyon modelinin adım sayısını yarıya indirerek birçok turun ardından 4 adıma ulaşır; tutarlılık damıtması ise doğrudan tek adımlık bir sıçrama için eğitim yapar.

Çözümleri keşfet

Sporda bilgisayarlı görü

Sporda bilgisayarlı görü

Ultralytics YOLO'nun oyuncu ve top takibi, performans analitiği, antrenörlük içgörüleri ve sporcu rehabilitasyonuyla spor alanında görsel yapay zekâyı nasıl güçlendirdiğini keşfet.
Daha fazla bilgi edin
Hava görüntüleri için bilgisayarlı görü

Hava görüntüleri için bilgisayarlı görü

İHA ve hava görüntülerini Ultralytics YOLO ile tarım, su ürünleri yetiştiriciliği, koruma çalışmaları ve jeo-uzamsal analiz için gerçek zamanlı içgörülere dönüştür.
Daha fazla bilgi edin
Havacılıkta bilgisayarlı görü

Havacılıkta bilgisayarlı görü

Uçak denetimi, pistteki yabancı madde tespiti, havaalanı yer operasyonları ve kompozit malzeme kusurlarının tespiti için Ultralytics YOLO ile havacılık ve uzay sektöründe bilgisayarlı görü uygula.
Daha fazla bilgi edin
Güvenlikte bilgisayarlı görü

Güvenlikte bilgisayarlı görü

Ultralytics YOLO modelleriyle her sahayı koru. Görsel yapay zekâ; çevre izleme, tehdit tespiti, plaka tanıma ve iş yeri güvenliğini destekler.
Daha fazla bilgi edin
Robotikte bilgisayarlı görü

Robotikte bilgisayarlı görü

Ultralytics YOLO modelleriyle daha akıllı makinelere güç ver. Robotikte görsel yapay zekâ; otonom navigasyonu, algılamayı, nesne takibini ve gerçek zamanlı kontrolü destekler.
Daha fazla bilgi edin
Lojistikte bilgisayarlı görü

Lojistikte bilgisayarlı görü

Ultralytics YOLO modelleriyle lojistiği kolaylaştır. Görüntü yapay zekâsı; paket denetimini, ayrıştırmayı, araç takibini ve gerçek zamanlı depo güvenliği izlemeyi mümkün kılar.
Daha fazla bilgi edin
Perakendede bilgisayarlı görü

Perakendede bilgisayarlı görü

Ultralytics YOLO modelleriyle perakendeyi yeniden tasarla. Görüntü yapay zekâsı; envanter takibini, raf izlemeyi, kuyruk yönetimini ve daha kapsamlı müşteri analizlerini mümkün kılar.
Daha fazla bilgi edin
Sağlık hizmetlerinde bilgisayarlı görü

Sağlık hizmetlerinde bilgisayarlı görü

Ultralytics YOLO modelleriyle sağlık çözümleri geliştir. Sağlık hizmetlerinde görüntü yapay zekâsı; daha hızlı tıbbi görüntüleme, daha akıllı tanı ve hasta takibini mümkün kılar.
Daha fazla bilgi edin
Üretimde bilgisayarlı görü

Üretimde bilgisayarlı görü

Ultralytics YOLO modelleriyle üretimi optimize et. Görsel yapay zekâ; kalite kontrolünü, kusur tespitini, kişisel koruyucu donanım uyumunu ve montaj hattı otomasyonunu destekler.
Daha fazla bilgi edin
Otomotivde bilgisayarlı görü

Otomotivde bilgisayarlı görü

Ultralytics YOLO modelleriyle otomotivde bilgisayarlı görüden yararlan. Görsel yapay zekâ; daha akıllı yollar için yol güvenliğini, sürüş desteğini ve araç otomasyonunu ileri taşır.
Daha fazla bilgi edin
Tarımda bilgisayarlı görü

Tarımda bilgisayarlı görü

Ultralytics YOLO modelleriyle akıllı tarıma görüntü yapay zekâsı kazandır. Daha yüksek ve akıllı verim için mahsul izleme, hayvan takibi ve hassas tarımı destekle.
Daha fazla bilgi edin

Geleceğin yapay zekasını birlikte inşa edelim!

Makine öğreniminin geleceğine yolculuğuna başla