Text-to-Image

Metinden görüntü üretme, istem adı verilen doğal dilde bir açıklamadan yeni bir görüntü oluşturma görevidir. Metinden görüntü üreten bir model, yüz milyonlarca ila milyarlarca görüntü-başlık çiftinden sözcüklerin görsel içerikle nasıl ilişkili olduğunu öğrenir; ardından "gün batımında tuğla duvara yaslanmış kırmızı bir bisiklet" gibi bir istemi daha önce hiç var olmamış bir görüntüye dönüştürür. Bu, üretken yapay zekâyı doğal dil işleme (NLP) ve bilgisayarlı görüyle birleştiren temel bir uygulamadır. Stable Diffusion, FLUX ve Google'ın Imagen'ı dâhil günümüzdeki sistemlerin çoğu difüzyon veya akış modelleridir. GPT-4o'ya 2025'te eklenen OpenAI görüntü üretimi gibi diğer sistemler ise görüntüleri token dizileri olarak otoregresif biçimde üretir.

Metinden Görüntü Modelleri Nasıl Çalışır?#

Bir metin kodlayıcı önce istemi gömmelere dönüştürür. Stable Diffusion'ın ilk sürümleri OpenAI'nin CLIP metin kodlayıcısını kullandı. Google'ın Imagen modeli ise dondurulmuş dil kodlayıcısını T5-XXL modeline kadar büyütmenin, görüntü oluşturucuyu büyütmeye kıyasla hem görüntü kalitesini hem de metin-görüntü uyumunu çok daha fazla geliştirdiğini gösterdi. Ardından oluşturucu rastgele gürültüden başlar ve genellikle gizil difüzyon modelinin sıkıştırılmış uzayında 20 ila 50 adım boyunca gürültüyü giderir; çapraz dikkat veya ortak dikkat katmanları, görüntünün her bölümünün isteme dikkat vermesini sağlar. Sınıflandırıcısız yönlendirme, modelin istemli ve istemsiz tahminlerini karşılaştırıp aradaki farkı güçlendirir; böylece daha yüksek bir yönlendirme ölçeği çeşitlilik pahasına istemi daha yakından izler. Son olarak bir kod çözücü, tamamlanmış gizil gösterimi piksellere dönüştürür.

Eğitim verileri, modelin neler çizebileceğini şekillendirir. Stable Diffusion, web'den toplanan 5,85 milyar görüntü-metin çifti içeren LAION-5B veri kümesinin alt kümeleri üzerinde eğitildi; OpenAI'nin DALL-E 3 modeli ise web görüntülerinin çoğuna eşlik eden kısa alternatif metinler yerine ayrıntılı sentetik açıklamalarla eğitilerek istemleri daha iyi izlemeyi öğrendi. Web ölçeğindeki veriler sorunları da beraberinde getirir: Stanford Internet Observatory'nin raporunda LAION-5B'de çocuk cinsel istismarı materyallerine bağlantılar bulunduğunun açıklanmasının ardından LAION, Aralık 2023'te LAION-5B'yi geri çekti ve Ağustos 2024'te temizlenmiş Re-LAION-5B'yi yayımladı.

Model Aileleri#

• Difüzyon ve akış modelleri: Bir görüntüdeki veya gizil gösterimdeki gürültüyü çok sayıda adımda giderir. Bu aile DALL-E 2 ve 3, Imagen, Stable Diffusion ve FLUX'ı içerir; daha yeni modeller, U-Net gürültü gidericinin yerine düzeltilmiş akışla eğitilmiş bir difüzyon transformer'ı kullanır.
• Otoregresif modeller: Görüntüleri ayrık belirteçlere dönüştürür ve 2021'deki özgün DALL-E ile Google Parti'nin kullandığı yaklaşımda olduğu gibi bu belirteçleri transformer ile teker teker tahmin eder. OpenAI, Mart 2025'te kullanıma sunulan GPT-4o'nun görüntü üretimini, difüzyon tabanlı DALL-E'den farklı olarak ChatGPT'ye yerel olarak gömülü bir otoregresif model şeklinde tanımlar.
• Üretici çekişmeli ağlar: Tek bir ileri geçişte görüntü üretir. AttnGAN gibi metin koşullu ÜÇA'lar difüzyon modellerinden önce ortaya çıktı; örneklemeleri daha hızlıdır ancak karmaşık istemleri daha az güvenilir biçimde izler.

Üretilen Görüntüleri Değerlendirme#

Fréchet Inception Distance (FID), kalite ve çeşitliliği ölçmek için üretilmiş ve gerçek görüntülerin istatistiklerini karşılaştırır; CLIP puanı ise ortak bir gömme uzayında görüntünün istemle ne kadar eşleştiğini ölçer. Bu iki yöntem de kaç nesnenin nerede göründüğü gibi ayrıntıları denetlemez. Bu nedenle GenEval, nesnelerin birlikte bulunmasını, konumunu ve sayısını doğrulamak için üretilmiş görüntüler üzerinde bir nesne algılama modeli çalıştırır ve rengi denetlemek için başka görü modelleri de kullanır. Herkese açık arenalar, estetik ve isteme bağlılığı birlikte değerlendiren binlerce ikili insan oylamasından ticari ve açık modelleri sıralar.

Metinden Görüntüye ve İlgili Terimler#

• Görüntü altyazısı oluşturma: Ters yöndeki işlem; mevcut bir görüntünün metin açıklamasını üretir.
• Metinden videoya: Zaman içinde tutarlı kalması gereken bir kare dizisi üretir; bu da metinden görüntüye modelinin ihtiyaç duyduğu hesaplama gücünü ve veri miktarını katlar.
• Görüntü içi tamamlama ve görüntüden görüntüye üretim: Ek bir görüntü girdisiyle aynı modelleri kullanarak mevcut bir görüntüden başlar ve istem doğrultusunda görüntünün bir bölümünü ya da tamamını değiştirir.
• Görsel-dil modelleri: Görüntüleri ve metni okuyup metinle yanıt verir. GPT-4o ve Gemini gibi doğal olarak çok modlu modeller, görüntüyü anlamaya görüntü üretme yeteneğini de ekledi.

Uygulamalar ve Riskler#

Tasarımcılar, oyun stüdyoları ve pazarlama ekipleri metinden görüntüye modellerini fikirleri keşfetmek ve ürün görselleri oluşturmak için kullanır; görü ekipleri ise fotoğraflanması zor olan nadir sınıflar, kusurlar ve koşullar için sentetik veriler oluşturur. Ultralytics Platform üzerindeki Benzer Görüntüler Oluştur eylemi, veri kümesindeki bir görüntüden esinlenen yeni sahneleri açıklar ve her açıklama için bir görüntü üretir; aydınlatma, bakış açısı, arka plan veya nesneler için isteğe bağlı yönergeler de eklenebilir. Kullanıcının sakladığı görüntüler, etiketleme işlemine hazır ve etiketsiz olarak veri kümesine eklenir. Sentetik görüntüler yalnızca modelin eksiklerini yansıttığında yarar sağlar:

Gerçekçilik aynı zamanda riskler de doğurur. Modeller, eğitim verilerindeki önyargıları yeniden üretir ve ikna edici deepfake'ler oluşturabilir. Sağlayıcılar, Google SynthID gibi yapay zekâ filigranları ve bir görüntüyü hangi aracın oluşturduğunu veya düzenlediğini kaydeden, imzalı üst veriler içeren C2PA İçerik Kimlik Bilgileri kullanarak bu sorunlara karşılık verir.