Latent Consistency Models (LCMs)
Gizil tutarlılık modelleri (LCM'ler), Stable Diffusion'ı görüntüleri bir ila dört adımda üreten bir modele damıtır. Damıtma, LCM-LoRA ve hız ele alınır.
Gizil tutarlılık modeli (LCM), Stable Diffusion gibi bir gizil difüzyon modelinden damıtılan bir metinden görüntüye modeldir. Böylece olağan 20 ila 50 örnekleme adımı yerine bir ila dört adımda görüntü üretir. Gürültü giderme yörüngesindeki herhangi bir gürültülü noktayı doğrudan temiz son noktasına eşleyen bir ağ olan tutarlılık modeli fikrini, özgün modelin sıkıştırılmış gizil uzayında uygular. Metin kodlayıcısı ile görüntü kod çözücüsü değiştirilmeden yeniden kullanılır ve öğrenci, öğretmenin U-Net ağırlıklarıyla başlar. Tsinghua Üniversitesi'nden Simian Luo, Yiqin Tan, Longbo Huang, Jian Li ve Hang Zhao, LCM'leri Ekim 2023'te Gizil Tutarlılık Modelleri: Az Adımlı Çıkarımla Yüksek Çözünürlüklü Görüntüler Sentezleme makalesinde tanıttı. 768 x 768 boyutlu bir modelin 2 ila 4 örnekleme adımıyla eğitiminin yalnızca 32 A100 GPU saatini aldığını bildirdiler.
Gizil Tutarlılık Damıtması Nasıl Çalışır?#
Standart bir difüzyon modeli, saf gürültülü bir gizil temsilden başlayarak otomatik kodlayıcının kod çözücüsünün piksellere dönüştürdüğü temiz bir gizil temsile ulaşmak için olasılık akışlı bir adi diferansiyel denklemi (ODE) her seferinde küçük bir adımla çözer. Gizil tutarlılık damıtması, U-Net'in öğrenci kopyasını bu yolculuğun tamamını tek bir çağrıda yapacak şekilde eğitir. Her eğitim adımında, dondurulmuş öğretmen yörünge boyunca bir ODE çözücü adımı atar; öğrenci ise bu adımın her iki ucundan da aynı temiz gizil temsili tahmin etmelidir:
Rastgele zaman adımlarında tekrarlanan bu işlem, yörüngedeki her noktayı aynı çıktıya yaklaştırır. Metinden görüntüye modellerde işe yaramasını iki değişiklik sağlar. Öğretmenin adımında zaten w ölçeğinde sınıflandırıcısız yönlendirme bulunur ve w, öğrenciye girdi olarak verilir; böylece yönlendirmeli görüntüler iki değil tek bir ileri geçişe mal olur. Adım atlamalı bir zamanlama, öğretmenin bir yerine aynı anda k zaman adımı atlamasını sağlayarak yakınsamayı hızlandırır. Öğretmensiz bir seçenek olan gizil tutarlılık ince ayarı, mevcut bir LCM'yi özel bir veri kümesine uyarlar.
Tutarlılık damıtması, bir bilgi damıtma biçimidir; Ultralytics YOLO26 eğitimi de öğretmen-öğrenci düzenini distill_model argümanı aracılığıyla destekler: yolo26n.pt öğesini distill_model="yolo26s.pt" ile eğitmek, nano öğrencinin özellik haritalarının daha büyük modelin özellik haritalarıyla eşleşmesini sağlar ve ek çıkarım maliyeti olmadan öğrencinin COCO üzerindeki mAP değerini artırır.
Dört Adımda Örnekleme#
LCM, atlamalarla gürültüyü yeniden eklemeyi sırayla uygular. Saf gürültüden temiz gizil temsili tahmin eder, bu tahmini daha küçük bir zaman adımına geri taşımak için yeni gürültü ekler, yeniden tahmin yapar ve son tahmini çözer. Hugging Face diffusers içindeki LCMScheduler, zaman adımlarını Stable Diffusion'ın 1.000 adımlı eğitim zamanlamasından seçer:
from diffusers import DDIMScheduler, LCMScheduler
# Stable Diffusion's 1,000-step training noise schedule
config = {"num_train_timesteps": 1000, "beta_start": 0.00085, "beta_end": 0.012, "beta_schedule": "scaled_linear"}
ddim = DDIMScheduler(**config)
lcm = LCMScheduler(**config)
# A standard sampler visits 50 noise levels; an LCM jumps to a clean latent from each of 4
ddim.set_timesteps(50)
lcm.set_timesteps(4)
print(f"DDIM: {len(ddim.timesteps)} steps, starting {ddim.timesteps[:4].tolist()} ...")
print(f"LCM: {len(lcm.timesteps)} steps, {lcm.timesteps.tolist()}")DDIM örnekleyicisi, her adımda tek bir U-Net çağrısı yaparak 980 zaman adımından başlayıp 20'şer adımlarla ilerler; LCM ise yalnızca 999, 759, 499 ve 259 zaman adımlarını ziyaret eder. Her ek adım, modelin önceki tahmindeki ayrıntıları düzeltmesini sağlar; bu yüzden kalite bir adımdan dört adıma doğru yükselir.
LCM-LoRA ve Gerçek Zamanlı Kullanımlar#
İlk makaleden bir ay sonra yazarlar ve Hugging Face mühendisleri, damıtma sonucunu yeni ağırlıkların tamamı yerine bir LoRA bağdaştırıcısı olarak saklayan LCM-LoRA'yı yayımladı. Stable Diffusion v1.5, SSD-1B ve SDXL için eğitim gerçekleştirdiler. LCM-LoRA, aynı temel modelin ince ayarlı kontrol noktalarına ve stil LoRA'larına ek eğitim gerektirmeden takılabilir. Az adımlı örnekleme, etkileşimli araçlarda gerçek zamanlı çıkarımı mümkün kıldı: Açık kaynaklı StreamDiffusion işlem hattı, bir RTX 4090 GPU üzerinde KohakuV2 kontrol noktasıyla LCM-LoRA'yı, metinden görüntüye üretimde 4 gürültü giderme adımı ve saniyede 38 kare hızında çalıştırdı.
LCM'ler ve İlgili Terimler#
- Tutarlılık modelleri: OpenAI'ın doğrudan pikseller üzerinde çalışan ve CIFAR-10 ile ImageNet 64 x 64 üzerinde karşılaştırılan özgün formülasyonudur. LCM'ler bunu gizil uzaya taşır ve metin koşullandırması ile yönlendirme ekler.
- Çekişmeli difüzyon damıtması: Stability AI'ın Kasım 2023'te yayımlanan SDXL Turbo modeli, damıtma kaybına bir ayırıcı ekleyerek bir ila dört adımda sonuç elde eder.
- Büyük kavram modelleri: Meta'nın büyük kavram modelleri LCM kısaltmasını paylaşsa da, görüntü üretimiyle ilgisi olmayan; tüm cümlelerin gömmelerini tahmin eden dil modelleridir.
- Düzeltilmiş akış: Gürültüden veriye giden yolları daha düz hâle getirerek örnekleyicinin daha az adıma ihtiyaç duymasını sağlar. Stable Diffusion 3 ve FLUX'ın arkasındaki yaklaşım budur.










