ControlNet

ControlNet, büyük metinden görsele üretken yapay zekâ modelleri üzerinde ince ayrıntılı ve mekânsal kontrol sağlamak için tasarlanmış gelişmiş bir sinir ağı mimarisidir. İlk olarak Stable Diffusion gibi modelleri geliştirmek amacıyla tanıtılan bu yapı, kullanıcıların yalnızca metin istemlerinin ötesinde ek girdi koşullarını kullanarak görüntü üretimini yönlendirmesine olanak tanır. Kenar haritaları, derinlik haritaları veya insan iskeletleri gibi belirli görsel kılavuzlar ağa beslenerek uygulayıcılar, üretilen çıktının tam kompozisyonunu, pozunu veya yapısını belirleyebilir ve doğal dil açıklamalarıyla kesin görsel uygulama arasındaki boşluğu kapatabilir.

Mimarinin Çalışma Şekli#

ControlNet'in temel yeniliği, yeni koşullandırma görevlerini öğrenirken temel bir temel modelin kapsamlı, önceden eğitilmiş bilgisini koruyabilmesidir. Bunu, özgün sinir ağı bloğunun parametrelerini kilitleyip eğitilebilir bir kopya oluşturarak gerçekleştirir. Bu kopya, özel "sıfır evrişim" katmanları kullanılarak kilitli modele bağlanır; bu katmanlar, ince ayar işleminin ilk aşamalarında gürültü eklenmemesini sağlamak için sıfır ağırlıklarla başlatılır. Matematiksel ve yapısal teori hakkında daha fazla bilgiyi arXiv'deki özgün ControlNet araştırma makalesinde bulabilirsin.

Bu benzersiz yapı, geliştiricilerin tüketici sınıfı donanımlarda güçlü koşullandırma kontrolleri eğitmesine olanak tanır ve bunu devasa bir derin öğrenme modelini sıfırdan eğitmeye kıyasla oldukça erişilebilir hâle getirir.

ControlNet ile Difüzyon Modelleri ve LoRA Karşılaştırması#

Üretken yapay zekâ hakkında konuşurken ControlNet'i ilgili kavramlardan ayırmak faydalıdır:

• Difüzyon Modelleri: Bunlar, gürültüyü yinelemeli olarak kaldırarak görüntüler oluşturan temel motorlardır. Neredeyse tamamen metin istemlerine dayanırlar.
• LoRA (Düşük Sıralı Uyarlama): LoRA, bir modele yeni bir tarzı veya konuyu (belirli bir karakter ya da sanat tarzı gibi) hızlıca öğretme yöntemidir. Buna karşılık ControlNet, görüntünün tam mekânsal düzenini belirler.

Gerçek Dünya Uygulamaları#

ControlNet, profesyonel iş akışlarında bilgisayarlı görü ve üretken yapay zekânın kullanım alanını büyük ölçüde genişletmiştir.

• Mimari Konsept Görselleştirme: Mimarlar ve iç tasarımcılar, temel siyah-beyaz bilgisayar destekli tasarım (CAD) planlarını veya elle çizilmiş eskizleri binaların ve odaların fotogerçekçi görsellerine dönüştürmek için ControlNet'i kullanır.
• Oyun Geliştirmede Karakter Pozlandırma: Animatörler, bir referans videodan iskelet yapılarını çıkarmak için insan poz tahmini modellerinden yararlanır. Bu iskeletler, video oyunu varlıkları için tam pozları koruyan tutarlı ve stilize karakter görselleri üretmek üzere ControlNet'e beslenir ve manuel çizim süresini önemli ölçüde azaltır.

ControlNet için Koşulların Hazırlanması#

ControlNet'i etkili bir şekilde kullanmak için önce bir kaynak görüntüden istenen mekânsal koşulu çıkarman gerekir. Örneğin, insan pozu iskeleti çıkarmak için son teknoloji ürünü en yeni görüntü modelimiz Ultralytics YOLO26'yı kullanabilirsin. Bu iskelet daha sonra kaydedilir ve ControlNet özellikli bir metinden görsele işlem hattı için koşullandırma girdisi olarak kullanılır.

from ultralytics import YOLO

# Load the Ultralytics YOLO26 pose estimation model
model = YOLO("yolo26n-pose.pt")

# Perform inference to extract the human pose skeleton
results = model("character_reference.jpg")

# Save the resulting plotted skeleton to use as ControlNet input
results[0].save("pose_conditioning.jpg")

İster standart OpenCV işlevlerini kullanarak Canny kenarlarını hazırlıyor ister gelişmiş segmentasyon maskeleri çıkarıyor ol, yüksek kaliteli girdiler hazırlamak kritik öneme sahiptir. Özel ControlNet koşullarını eğitmek için gereken bulut tabanlı veri kümesi yönetimi ve veri etiketleme işlemleri için Ultralytics Platform gibi platformlar, modern yapay zekâ ekiplerine sorunsuz ve uçtan uca bir ortam sunar.