YOLO'yu lisansla
Ultralytics Sözlüğüne dön

Latent Consistency Models (LCMs)

Gizil tutarlılık modelleri (LCM'ler), Stable Diffusion'ı görüntüleri bir ila dört adımda üreten bir modele damıtır. Damıtma, LCM-LoRA ve hız ele alınır.

Gizil tutarlılık modeli (LCM), Stable Diffusion gibi bir gizil difüzyon modelinden damıtılan bir metinden görüntüye modeldir. Böylece olağan 20 ila 50 örnekleme adımı yerine bir ila dört adımda görüntü üretir. Gürültü giderme yörüngesindeki herhangi bir gürültülü noktayı doğrudan temiz son noktasına eşleyen bir ağ olan tutarlılık modeli fikrini, özgün modelin sıkıştırılmış gizil uzayında uygular. Metin kodlayıcısı ile görüntü kod çözücüsü değiştirilmeden yeniden kullanılır ve öğrenci, öğretmenin U-Net ağırlıklarıyla başlar. Tsinghua Üniversitesi'nden Simian Luo, Yiqin Tan, Longbo Huang, Jian Li ve Hang Zhao, LCM'leri Ekim 2023'te Gizil Tutarlılık Modelleri: Az Adımlı Çıkarımla Yüksek Çözünürlüklü Görüntüler Sentezleme makalesinde tanıttı. 768 x 768 boyutlu bir modelin 2 ila 4 örnekleme adımıyla eğitiminin yalnızca 32 A100 GPU saatini aldığını bildirdiler.

Gizil Tutarlılık Damıtması Nasıl Çalışır?#

Standart bir difüzyon modeli, saf gürültülü bir gizil temsilden başlayarak otomatik kodlayıcının kod çözücüsünün piksellere dönüştürdüğü temiz bir gizil temsile ulaşmak için olasılık akışlı bir adi diferansiyel denklemi (ODE) her seferinde küçük bir adımla çözer. Gizil tutarlılık damıtması, U-Net'in öğrenci kopyasını bu yolculuğun tamamını tek bir çağrıda yapacak şekilde eğitir. Her eğitim adımında, dondurulmuş öğretmen yörünge boyunca bir ODE çözücü adımı atar; öğrenci ise bu adımın her iki ucundan da aynı temiz gizil temsili tahmin etmelidir:

Rastgele zaman adımlarında tekrarlanan bu işlem, yörüngedeki her noktayı aynı çıktıya yaklaştırır. Metinden görüntüye modellerde işe yaramasını iki değişiklik sağlar. Öğretmenin adımında zaten w ölçeğinde sınıflandırıcısız yönlendirme bulunur ve w, öğrenciye girdi olarak verilir; böylece yönlendirmeli görüntüler iki değil tek bir ileri geçişe mal olur. Adım atlamalı bir zamanlama, öğretmenin bir yerine aynı anda k zaman adımı atlamasını sağlayarak yakınsamayı hızlandırır. Öğretmensiz bir seçenek olan gizil tutarlılık ince ayarı, mevcut bir LCM'yi özel bir veri kümesine uyarlar.

Tutarlılık damıtması, bir bilgi damıtma biçimidir; Ultralytics YOLO26 eğitimi de öğretmen-öğrenci düzenini distill_model argümanı aracılığıyla destekler: yolo26n.pt öğesini distill_model="yolo26s.pt" ile eğitmek, nano öğrencinin özellik haritalarının daha büyük modelin özellik haritalarıyla eşleşmesini sağlar ve ek çıkarım maliyeti olmadan öğrencinin COCO üzerindeki mAP değerini artırır.

Dört Adımda Örnekleme#

LCM, atlamalarla gürültüyü yeniden eklemeyi sırayla uygular. Saf gürültüden temiz gizil temsili tahmin eder, bu tahmini daha küçük bir zaman adımına geri taşımak için yeni gürültü ekler, yeniden tahmin yapar ve son tahmini çözer. Hugging Face diffusers içindeki LCMScheduler, zaman adımlarını Stable Diffusion'ın 1.000 adımlı eğitim zamanlamasından seçer:

from diffusers import DDIMScheduler, LCMScheduler

# Stable Diffusion's 1,000-step training noise schedule
config = {"num_train_timesteps": 1000, "beta_start": 0.00085, "beta_end": 0.012, "beta_schedule": "scaled_linear"}
ddim = DDIMScheduler(**config)
lcm = LCMScheduler(**config)

# A standard sampler visits 50 noise levels; an LCM jumps to a clean latent from each of 4
ddim.set_timesteps(50)
lcm.set_timesteps(4)
print(f"DDIM: {len(ddim.timesteps)} steps, starting {ddim.timesteps[:4].tolist()} ...")
print(f"LCM:  {len(lcm.timesteps)} steps, {lcm.timesteps.tolist()}")

DDIM örnekleyicisi, her adımda tek bir U-Net çağrısı yaparak 980 zaman adımından başlayıp 20'şer adımlarla ilerler; LCM ise yalnızca 999, 759, 499 ve 259 zaman adımlarını ziyaret eder. Her ek adım, modelin önceki tahmindeki ayrıntıları düzeltmesini sağlar; bu yüzden kalite bir adımdan dört adıma doğru yükselir.

LCM-LoRA ve Gerçek Zamanlı Kullanımlar#

İlk makaleden bir ay sonra yazarlar ve Hugging Face mühendisleri, damıtma sonucunu yeni ağırlıkların tamamı yerine bir LoRA bağdaştırıcısı olarak saklayan LCM-LoRA'yı yayımladı. Stable Diffusion v1.5, SSD-1B ve SDXL için eğitim gerçekleştirdiler. LCM-LoRA, aynı temel modelin ince ayarlı kontrol noktalarına ve stil LoRA'larına ek eğitim gerektirmeden takılabilir. Az adımlı örnekleme, etkileşimli araçlarda gerçek zamanlı çıkarımı mümkün kıldı: Açık kaynaklı StreamDiffusion işlem hattı, bir RTX 4090 GPU üzerinde KohakuV2 kontrol noktasıyla LCM-LoRA'yı, metinden görüntüye üretimde 4 gürültü giderme adımı ve saniyede 38 kare hızında çalıştırdı.

  • Tutarlılık modelleri: OpenAI'ın doğrudan pikseller üzerinde çalışan ve CIFAR-10 ile ImageNet 64 x 64 üzerinde karşılaştırılan özgün formülasyonudur. LCM'ler bunu gizil uzaya taşır ve metin koşullandırması ile yönlendirme ekler.
  • Çekişmeli difüzyon damıtması: Stability AI'ın Kasım 2023'te yayımlanan SDXL Turbo modeli, damıtma kaybına bir ayırıcı ekleyerek bir ila dört adımda sonuç elde eder.
  • Büyük kavram modelleri: Meta'nın büyük kavram modelleri LCM kısaltmasını paylaşsa da, görüntü üretimiyle ilgisi olmayan; tüm cümlelerin gömmelerini tahmin eden dil modelleridir.
  • Düzeltilmiş akış: Gürültüden veriye giden yolları daha düz hâle getirerek örnekleyicinin daha az adıma ihtiyaç duymasını sağlar. Stable Diffusion 3 ve FLUX'ın arkasındaki yaklaşım budur.

Çözümleri keşfet

Sporda bilgisayarlı görü

Sporda bilgisayarlı görü

Ultralytics YOLO'nun oyuncu ve top takibi, performans analitiği, antrenörlük içgörüleri ve sporcu rehabilitasyonuyla spor alanında görsel yapay zekâyı nasıl güçlendirdiğini keşfet.
Daha fazla bilgi edin
Hava görüntüleri için bilgisayarlı görü

Hava görüntüleri için bilgisayarlı görü

İHA ve hava görüntülerini Ultralytics YOLO ile tarım, su ürünleri yetiştiriciliği, koruma çalışmaları ve jeo-uzamsal analiz için gerçek zamanlı içgörülere dönüştür.
Daha fazla bilgi edin
Havacılıkta bilgisayarlı görü

Havacılıkta bilgisayarlı görü

Uçak denetimi, pistteki yabancı madde tespiti, havaalanı yer operasyonları ve kompozit malzeme kusurlarının tespiti için Ultralytics YOLO ile havacılık ve uzay sektöründe bilgisayarlı görü uygula.
Daha fazla bilgi edin
Güvenlikte bilgisayarlı görü

Güvenlikte bilgisayarlı görü

Ultralytics YOLO modelleriyle her sahayı koru. Görsel yapay zekâ; çevre izleme, tehdit tespiti, plaka tanıma ve iş yeri güvenliğini destekler.
Daha fazla bilgi edin
Robotikte bilgisayarlı görü

Robotikte bilgisayarlı görü

Ultralytics YOLO modelleriyle daha akıllı makinelere güç ver. Robotikte görsel yapay zekâ; otonom navigasyonu, algılamayı, nesne takibini ve gerçek zamanlı kontrolü destekler.
Daha fazla bilgi edin
Lojistikte bilgisayarlı görü

Lojistikte bilgisayarlı görü

Ultralytics YOLO modelleriyle lojistiği kolaylaştır. Görüntü yapay zekâsı; paket denetimini, ayrıştırmayı, araç takibini ve gerçek zamanlı depo güvenliği izlemeyi mümkün kılar.
Daha fazla bilgi edin
Perakendede bilgisayarlı görü

Perakendede bilgisayarlı görü

Ultralytics YOLO modelleriyle perakendeyi yeniden tasarla. Görüntü yapay zekâsı; envanter takibini, raf izlemeyi, kuyruk yönetimini ve daha kapsamlı müşteri analizlerini mümkün kılar.
Daha fazla bilgi edin
Sağlık hizmetlerinde bilgisayarlı görü

Sağlık hizmetlerinde bilgisayarlı görü

Ultralytics YOLO modelleriyle sağlık çözümleri geliştir. Sağlık hizmetlerinde görüntü yapay zekâsı; daha hızlı tıbbi görüntüleme, daha akıllı tanı ve hasta takibini mümkün kılar.
Daha fazla bilgi edin
Üretimde bilgisayarlı görü

Üretimde bilgisayarlı görü

Ultralytics YOLO modelleriyle üretimi optimize et. Görsel yapay zekâ; kalite kontrolünü, kusur tespitini, kişisel koruyucu donanım uyumunu ve montaj hattı otomasyonunu destekler.
Daha fazla bilgi edin
Otomotivde bilgisayarlı görü

Otomotivde bilgisayarlı görü

Ultralytics YOLO modelleriyle otomotivde bilgisayarlı görüden yararlan. Görsel yapay zekâ; daha akıllı yollar için yol güvenliğini, sürüş desteğini ve araç otomasyonunu ileri taşır.
Daha fazla bilgi edin
Tarımda bilgisayarlı görü

Tarımda bilgisayarlı görü

Ultralytics YOLO modelleriyle akıllı tarıma görüntü yapay zekâsı kazandır. Daha yüksek ve akıllı verim için mahsul izleme, hayvan takibi ve hassas tarımı destekle.
Daha fazla bilgi edin

Geleceğin yapay zekasını birlikte inşa edelim!

Makine öğreniminin geleceğine yolculuğuna başla