ControlNet

ControlNet, büyük metinden görüntüye üretken yapay zeka modelleri üzerinde ince ayarlı, uzamsal kontrol sağlamak için tasarlanmış gelişmiş bir sinir ağı mimarisidir. İlk olarak Stable Diffusion gibi modelleri geliştirmek için sunulmuş olup, kullanıcıların sadece metin komutlarının ötesinde ek girdi koşullarını kullanarak görüntü üretimini yönlendirmesine olanak tanır. Kenar haritaları, derinlik haritaları veya insan iskeletleri gibi belirli görsel kılavuzları ağa besleyerek, uygulayıcılar oluşturulan çıktının tam kompozisyonunu, duruşunu veya yapısını belirleyebilir, böylece doğal dil tanımlamaları ile hassas görsel uygulama arasındaki boşluğu doldurabilirler.

Link to this sectionMimari Nasıl Çalışır#

ControlNet'in temel yeniliği, yeni koşullandırma görevlerini öğrenirken temel bir temel modelin sahip olduğu geniş önceden eğitilmiş bilgiyi koruma yeteneğinde yatar. Bunu, orijinal sinir ağı bloğunun parametrelerini kilitleyerek ve eğitilebilir bir kopya oluşturarak başarır. Bu kopya, ince ayar sürecinin ilk aşamalarında gürültü eklenmemesini sağlamak için sıfır ağırlıklarla başlayan özel "sıfır evrişim" katmanları kullanılarak kilitli modele bağlanır. Matematiksel ve yapısal teori hakkında daha fazla bilgiyi orijinal ControlNet araştırma yayınında, arXiv üzerinde okuyabilirsin.

Bu benzersiz yapı, geliştiricilerin tüketici sınıfı donanımlar üzerinde sağlam koşullandırma kontrolleri eğitmesine olanak tanır ve bu da onu devasa bir derin öğrenme modelini sıfırdan eğitmekle kıyaslandığında oldukça erişilebilir kılar.

Link to this sectionControlNet, Difüzyon Modelleri ve LoRA Karşılaştırması#

Yapay zeka üretimi tartışılırken, ControlNet'i ilgili kavramlardan ayırt etmek faydalıdır:

• Difüzyon Modelleri: Bunlar, gürültüyü yinelemeli olarak kaldırarak görüntüler oluşturan temel motorlardır. Neredeyse tamamen metin komutlarına dayanırlar.
• LoRA (Düşük Dereceli Adaptasyon): LoRA, bir modele yeni bir stil veya konu (belirli bir karakter veya sanat tarzı gibi) öğretmek için kullanılan bir yöntemdir. Buna karşılık ControlNet, görüntünün tam uzamsal düzenini belirler.

Link to this sectionGerçek Dünya Uygulamaları#

ControlNet, bilgisayarlı görü ve üretken yapay zekanın profesyonel iş akışlarındaki faydasını önemli ölçüde artırmıştır.

• Mimari Konsept Render Alma: Mimarlar ve iç mimarlar, temel siyah-beyaz bilgisayar destekli tasarım (CAD) planlarını veya elle çizilmiş eskizleri binaların ve odaların fotogerçekçi renderlarına dönüştürmek için ControlNet'i kullanırlar.
• Oyun Geliştirmede Karakter Pozlama: Animatörler, bir referans videodan iskelet yapılarını çıkarmak için insan poz tahmini modellerinden yararlanırlar. Bu iskeletler, video oyunu varlıkları için tam pozları koruyan tutarlı, stilize karakter sprite'ları oluşturmak üzere ControlNet'e beslenir ve bu da manuel çizim süresini önemli ölçüde azaltır.

Link to this sectionControlNet için Koşulların Hazırlanması#

ControlNet'i etkili bir şekilde kullanmak için önce bir kaynak görüntüden istediğin uzamsal koşulu çıkarman gerekir. Örneğin, bir insan pozu iskeleti çıkarmak için en yeni ve en gelişmiş görü modeli olan Ultralytics YOLO26'yı kullanabilirsin. Bu iskelet daha sonra kaydedilir ve ControlNet özellikli bir metinden görüntüye ardışık düzeni için koşullandırma girdisi olarak kullanılır.

from ultralytics import YOLO

# Load the Ultralytics YOLO26 pose estimation model
model = YOLO("yolo26n-pose.pt")

# Perform inference to extract the human pose skeleton
results = model("character_reference.jpg")

# Save the resulting plotted skeleton to use as ControlNet input
results[0].save("pose_conditioning.jpg")

İster standart OpenCV fonksiyonları kullanarak Canny kenarlarını hazırlıyor ol, ister gelişmiş segmentasyon maskeleri çıkarıyor ol, yüksek kaliteli girdiler hazırlamak esastır. Özel ControlNet koşullarını eğitmek için gereken bulut tabanlı veri kümesi yönetimi ve veri etiketleme işlemleri için Ultralytics Platform gibi platformlar, modern yapay zeka ekipleri için uçtan uca kesintisiz bir ortam sağlar.