Diffusion Language Models

Difüzyon dil modelleri, her belirteci kesinlikle soldan sağa üretmek yerine yinelemeli gürültü giderme yoluyla metin üreten veya düzenleyen üretici modellerdir. Genellikle maskelenmiş, değiştirilmiş ya da belirsiz belirteçler içeren bozulmuş bir diziyle başlar ve metin tutarlı hâle gelene kadar birden çok konumu tekrar tekrar iyileştirirler. Bu yaklaşım, dil modelleme ve difüzyon modelleri fikirlerini bir araya getirerek geleneksel sonraki belirteç üretimine bir alternatif sunar.

Difüzyon Dil Modelleri Nasıl Çalışır#

Metin önce tokenleştirme yoluyla kelimelere, alt kelimelere, karakterlere veya diğer ayrık birimlere bölünür. Eğitim sırasında ileri yönlü bozma süreci, belirteç dizilerindeki bilgileri kademeli olarak kaldırır. Uygulamaya bağlı olarak belirteçler maske sembolleriyle, örneklenmiş alternatiflerle veya embedding adı verilen gürültülü sürekli temsillerle değiştirilebilir.

Model, bozulmuş dizilerin daha temiz hâllerini tahmin ederek ters süreci öğrenir. Çıkarım sırasında yoğun biçimde maskelenmiş veya gürültülü bir blokla başlar ve birkaç iyileştirme adımı gerçekleştirir. İlk adımlar genel anlamı ve yapıyı oluştururken sonraki adımlar kelime dağarcığını, dil bilgisini, biçimlendirmeyi ve yerel tutarlılığı düzeltir.

Birçok difüzyon dil modeli, diziyi işlemek için bir Transformer kullanır. Transformer'lar bu görev için uygundur çünkü dikkat mekanizmaları her belirteci çevresindeki bağlamla ilişkilendirebilir. PyTorch Transformer belgeleri, bu temel mimariye ilişkin yararlı bir genel bakış sunar.

Sabit bir boşluk doldurma sisteminin aksine difüzyon üretimi, tahminlerin tekrar tekrar gözden geçirilmesine olanak tanır. Bir adımda seçilen belirteç mutlaka kalıcı değildir; dizinin geri kalanı daha iyi bağlam sağladığında sonraki yinelemeler bu belirteci değiştirebilir. Google DeepMind’ın metin difüzyonuna genel bakışı, blok düzeyinde bu yinelemeli üretim modelini açıklar.

Difüzyon Modelleri ve İlgili Kavramlar#

Birbirine yakından bağlı çeşitli terimler, farklı amaçları veya mimarileri tanımlar:

• Otoregresif büyük dil modelleri, her tahminin önceki çıktıya bağlı olduğu belirteçleri sırayla üretir. Bu nedensel süreç, TensorFlow’un otoregresif metin üretimi öğreticisinde gösterilir. Difüzyon modelleri ise her iyileştirme adımında birçok konumu güncelleyebilir.
• Maskeli dil modelleri, her iki taraftaki bağlamı kullanarak kasıtlı olarak gizlenmiş belirteçleri tahmin eder. Keras maskeli dil modelleme örneği, bu eğitim amacını gösterir. Difüzyon dil modelleri, bu fikri birden çok bozma seviyesi ve gürültü giderme yinelemesi içeren eksiksiz bir üretim sürecine genişletir.
• Stable Diffusion, büyük bir dil modeli değil, görüntü üretim sistemidir. Stability AI’ın Stable Diffusion görüntü hizmetleri görsel içerik üretir ve düzenler; difüzyon dil modelleri ise metin belirteçleri veya bunların temsilleri üzerinde çalışır.
• Difüzyon Transformer'ları, Transformer'ların difüzyon sistemleri içinde, genellikle görüntü veya video üretimi için kullanılmasını ifade eder. Bir difüzyon dil modeli, yalnızca sinir ağı mimarisiyle değil, metin üretme amacıyla tanımlanır.

Gerçek Dünya Uygulamaları#

Somut bir uygulama belge ve kod düzenlemedir. Bir imlecin sonuna metin eklemek yerine difüzyon dil modeli, taslağın tamamını veya seçili bir aralığı iyileştirebilir. Örneğin bir blok genelindeki değişken adlarını, içe aktarmaları ve yorumları gözden geçirirken eksik bir işlevi yeniden oluşturabilir. Hem önceki hem de sonraki bağlamı kullanabilme özelliği, bir konumdaki düzeltmeler başka bir konumu etkilediğinde değerlidir.

İkinci bir uygulama çok modlu analizdir. Bir görsel sistem görüntüden olgusal bilgileri çıkarabilir; ardından difüzyon dil modeli bu gözlemlere dayalı bir raporu, açıklamayı veya yanıtı yinelemeli olarak oluşturabilir. Örneğin nesne algılama, dil bileşeni bir olay özetinin taslağını oluşturmadan önce bir trafik sahnesindeki araçları ve insanları belirleyebilir.

Aşağıdaki iş akışı, sonraki dil üretimi için yapılandırılmış görsel bağlam oluşturmak üzere Ultralytics YOLO26 kullanır:

from ultralytics import YOLO

# Run object detection on a sample image
model = YOLO("yolo26n.pt")
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Convert detections into compact language-model context
detections = result.summary()
object_names = sorted({item["name"] for item in detections})

visual_context = ", ".join(object_names)
print(visual_context)

YOLO tahmin iş akışı, yapılandırılmış çıktılar döndürürken Results.summary() yöntemi, algılamaları bir dil işlem hattına aktarılması daha kolay olan sözlüklere dönüştürür. Bu ayrım, görsel modelin temellendirilmiş gözlemler sağlamasına, dil modelinin ise yinelemeli oluşturma işlemini yürütmesine olanak tanır.

Avantajlar, Sınırlamalar ve Uygulamaya Yönelik Rehber#

Difüzyon dil modelleri birden çok belirteç önerebilir, önceki seçimleri gözden geçirebilir ve doğal olarak tamamlama veya kısıtlı düzenlemeyi destekleyebilir. Ancak paralel tahmin, uçtan uca gecikmenin daha düşük olacağını garanti etmez: üretim hâlâ birden çok gürültü giderme adımı gerektirir ve hız; dizi uzunluğuna, model boyutuna, donanıma ve örnekleme stratejisine bağlıdır.

Metin aynı zamanda ayrık olduğundan kademeli bozma, sürekli görüntü piksellerine gürültü eklemeye kıyasla daha az doğaldır. Yanlış yapılandırılmış sistemler tekrarlı çıktılar üretebilir, gerekli ayrıntıları atlayabilir, doğru metni gereksiz yere değiştirebilir veya çıktı uzunluğunu belirlemekte zorlanabilir.

Ekipler, temsili istemler üzerinde görev doğruluğunu, olgusal doğruluğu, düzenleme kararlılığını, gecikmeyi ve kaynak kullanımını değerlendirmelidir. Üretken yapay zekâ değerlendirmesine ilişkin Google Cloud rehberi, dil kalitesi bağlama bağlı olduğundan otomatik ölçütlerin insan değerlendirmesiyle birleştirilmesini önerir. Etkisi yüksek dağıtımlar ayrıca NIST Yapay Zekâ Risk Yönetimi Çerçevesi gibi yapılandırılmış bir süreci izlemelidir.

Görsel uygulamalar için Ultralytics Platform, veri kümesi açıklamasını, model eğitimini, dağıtımı ve izlemeyi destekleyerek ekiplerin sonraki difüzyon tabanlı dil iş akışlarını temellendirebilecek algılama bileşenini oluşturmasına yardımcı olur.