Stable Diffusion

Stable Diffusion, Stability AI tarafından geliştirilen, doğal dilde istemlerden görüntüler üreten ve bunları düzenleyen bir açık ağırlıklı metinden görüntüye model ailesidir. Ağustos 2022'de yayımlanan ilk sürüm, Münih LMU'daki CompVis grubu ve Runway iş birliğiyle geliştirildi ve bu ekiplerin gizil difüzyon araştırmasını LAION-5B veri kümesinin bir alt kümesindeki 512×512 boyutlu görüntülere uyguladı. 860 milyon parametreli U-Net'i ve 123 milyon parametreli metin kodlayıcısı, en az 10 GB belleğe sahip bir tüketici GPU'sunda çalışıyordu. Herkes ağırlıkları indirebildiği için çok sayıda ince ayarlı modelin, bağdaştırıcının ve düzenleme aracının temelini oluşturdu. Ekim 2024'te yayımlanan güncel sürüm Stable Diffusion 3.5, U-Net yerine düzeltilmiş akış ile eğitilmiş çok kipli bir difüzyon Transformer'ı kullanıyor.

Stable Diffusion Nasıl Çalışır#

Stable Diffusion bir difüzyon modelidir; pikseller yerine sıkıştırılmış görüntüyü gürültüden arındırır ve bunu üç ağ kullanarak yapar:

• Varyasyonel otomatik kodlayıcı (VAE): Kodlayıcı, 512×512×3 boyutlu görüntüyü 48 kat daha az değer içeren 64×64×4 boyutlu gizil temsile sıkıştırır; kod çözücü ise tamamlanmış gizil temsili yeniden görüntüye dönüştürür. Tüm gürültü giderme işlemleri küçük gizil temsilde gerçekleşir; modelin tüketici donanımına sığmasının nedeni budur.
• Metin kodlayıcı: En fazla 77 belirteç içeren istemi gömmelere dönüştürür. Stable Diffusion 1.x, OpenAI'ın CLIP ViT-L/14 modelini; 2.x, OpenCLIP ViT-H/14 modelini kullanır. SDXL iki CLIP kodlayıcısını birleştirirken Stable Diffusion 3, istemleri daha iyi anlamak için bu iki CLIP kodlayıcısına bir T5-XXL dil modeli ekler.
• Gürültü giderme ağı: Her adımda giderilecek gürültüyü tahmin eder. 1.x, 2.x ve SDXL sürümleri, görüntü özelliklerinin metin gömmelerine dikkat etmesini sağlayan çapraz dikkat katmanları bulunan bir U-Net kullanır; 3 ve 3.5 sürümleri ise görüntü ve metin belirteçlerini birlikte işleyen bir MMDiT kullanır.

Üretim, rastgele bir 64×64×4 gizil temsille başlar. Zamanlayıcı, her seferinde tahmin edilen gürültünün bir kısmını kaldırarak gürültü giderme ağını genellikle 20 ila 50 adım çalıştırır; sınıflandırıcısız yönlendirme de istemin etkisini güçlendirir. Ardından VAE kod çözücüsü görüntüyü üretir:

Başlangıç gizil temsili rastgele olduğundan, farklı bir tohum kullanıldığında aynı istem farklı bir görüntü verir; aynı tohum ve ayarlar ise görüntüyü yeniden üretir.

Model Sürümleri#

• Stable Diffusion 1.x (2022): 860 milyon parametreli U-Net ile 512×512 boyutunda üretim sunar. 1.5 sürümü topluluk tarafından yapılan ince ayarlar için yaygın bir temel hâline geldi ve ControlNet makalesi bu sürümü temel aldı. Ağırlıklar CreativeML OpenRAIL-M lisansını kullanır.
• Stable Diffusion 2.x (2022 sonu): OpenCLIP metin kodlayıcısına geçti ve 768×768 boyutlu bir model ekledi.
• SDXL (Temmuz 2023): Yaklaşık 2,6 milyar parametreli bir U-Net ve iki metin kodlayıcıyla yerel 1024×1024 boyutunda görüntü üretir. Aynı yılın kasım ayında yayımlanan SDXL Turbo, tek adımda görüntü üretmek için çekişmeli difüzyon damıtması kullanır.
• Stable Diffusion 3 ve 3.5 (2024): U-Net yerine görüntü ve metin belirteçleri için ayrı ağırlıklara sahip bir düzeltilmiş akış Transformer'ı kullanır. Stable Diffusion 3.5 Large 8,1 milyar, 3.5 Medium ise 2,5 milyar parametreye sahiptir. Stability AI Topluluk Lisansı, yıllık geliri 1 milyon dolardan az olan kuruluşların ücretsiz ticari kullanımına izin verir.

Stable Diffusion ile Görüntüleri Düzenleme#

• Görüntüden görüntüye: Var olan bir görüntüyü kodlar, belirlenen güç değerine göre ara bir adıma kadar gürültü ekler ve yeni bir istemle gürültüyü giderir. Böylece sonuç, tarzı veya içeriği değişirken özgün görüntünün düzenini ve renklerini korur.
• İnce ayar: DreamBooth ve LoRA, birkaç düzine görüntüyle modeli yeni bir konuya veya tarza uyarlar; ControlNet ise yapısal koşullar olarak kenar, derinlik ya da poz haritaları ekler.
• Görüntü içi tamamlama: İstem ve çevresiyle uyum sağlaması için yalnızca maskelenmiş bölgeyi yeniden üretir. Stable Diffusion görüntü içi tamamlama kontrol noktaları, U-Net'e beş giriş kanalı ekler: maskelenmiş görüntünün kodlanmış hâli için dört kanal ve maskenin kendisi için bir kanal.

Görüntü içi tamamlama maskelerinde, görüntünün değişmesi gereken yerler beyaz; korunacak yerler siyahtır. Ultralytics YOLO26 örnek segmentasyonu modelleri, örneğin bir sokak fotoğrafında belirli bir sınıftaki her aracı değiştirmek veya kaldırmak için bu tür maskeleri otomatik olarak üretir:

import cv2
from ultralytics import YOLO

# Otobüsü (COCO sınıfı 5) bir YOLO26 örnek segmentasyonu modeliyle segmentlere ayır
model = YOLO("yolo26n-seg.pt")
results = model("https://ultralytics.com/images/bus.jpg", classes=[5], retina_masks=True)
result = results[0]

# Beyaz, Stable Diffusion'ın yeniden boyaması gereken pikselleri; siyah ise koruyacağı pikselleri gösterir
mask = (result.masks.data.sum(dim=0) > 0).cpu().numpy().astype("uint8") * 255
cv2.imwrite("bus_inpaint_mask.png", mask)

Kaydedilen bus_inpaint_mask.png, fotoğrafın tam çözünürlüğündedir; çünkü retina_masks=True maskeleri özgün görüntü boyutunda döndürür. Fotoğraf, bu maske ve «kırmızı çift katlı bir otobüs» gibi bir istem verildiğinde görüntü içi tamamlama işlem hattı otobüsü yeniden üretirken çevresindeki sokağı korur.

Gerçek Dünya Uygulamaları#

• Görme modelleri için sentetik veri: Ekipler, eğitim veri kümelerindeki eksikleri gidermek için nadir kusurların, alışılmadık hava koşullarının veya ender bakış açılarının görüntülerini üretir; ayrıca gerçek arka planlara yeni nesneler yerleştirmek için görüntü içi tamamlamayı kullanır.
• Konsept sanatı ve tasarım: Oyun stüdyoları, mimarlar ve ürün tasarımcıları, ilk konsept çalışmaları sırasında dakikalar içinde çok sayıda tarzı ve kompozisyonu keşfeder.
• Pazarlama ve e-ticaret görselleri: Görüntüden görüntüye yöntemi ve ControlNet, istem ortamı, aydınlatmayı ve arka planı değiştirirken ürünün şeklini sabit tutar.

Stable Diffusion ve İlgili Modeller#

• Gizil difüzyon modelleri: Stable Diffusion, gizil difüzyon mimarisinin en bilinen uygulamasıdır; dolayısıyla her Stable Diffusion modeli bir gizil difüzyon modelidir.
• GAN'ler: Tek bir ileri geçişte görüntü üretir, ancak daha kararsız eğitilir ve daha az çeşitlilik sunar. SDXL Turbo'da olduğu gibi damıtılmadığı sürece Stable Diffusion, çok sayıda gürültü giderme adımına ihtiyaç duyar.
• Kapalı görüntü üreticileri: OpenAI'ın görüntü modelleri ve Midjourney gibi hizmetler yalnızca sağlayıcılarının sunucularında çalışır. Stable Diffusion ağırlıkları indirilebilir, çevrimdışı çalıştırılabilir, incelenebilir ve ince ayardan geçirilebilir.
• FLUX.1: Robin Rombach, Andreas Blattmann ve Patrick Esser dâhil, özgün gizil difüzyon makalesinin arkasındaki araştırmacıların 2024'te kurduğu Black Forest Labs, Stable Diffusion 3 ile aynı düzeltilmiş akış Transformer yaklaşımını kullanan 12 milyar parametreli FLUX.1 ailesini yayımladı.