Language Modeling

Dil modelleme, bir sözcük veya belirteç dizisine olasılık atama görevidir. Olasılığın zincir kuralına göre P(w1, w2, ..., wn) = P(w1) x P(w2 | w1) x ... x P(wn | w1, ..., wn-1) olur; dolayısıyla önceki belirteçlerden sonraki her belirteci tahmin eden bir model, herhangi bir metnin olasılığını tanımlar ve bu tahminlerden örnekleme yaparak yeni metin üretir. Sonraki belirteç hedefi, her GPT modelini ve büyük dil modellerinin (LLM'ler) çoğunu eğitir. Daha küçük dil modelleri de LLM'lerden onlarca yıl önce konuşma tanıma ve makine çevirisi sistemlerinde aday çıktıları sıralamak için kullanılıyordu; günümüzde telefon klavyelerinde sonraki sözcüğü hâlâ öneriyorlar.

Bir Dil Modeli Metni Nasıl Üretir#

Eğitilmiş bir model istemi okur, söz dağarcığındaki her belirteci puanlar ve puanları softmax ile sonraki belirteç olasılıklarına dönüştürür. Ardından bir kod çözme kuralı bir belirteç seçer, model bunu ekler ve bitiş belirteci üretinceye veya uzunluk sınırına ulaşıncaya kadar döngü yinelenir; metin üretimi böyle çalışır:

Sıcaklık veya çekirdek örnekleme ile örnekleme, çeşitlilik uğruna olasılığın bir kısmından vazgeçer. Her belirteç önceden yazılmış belirteçlere bağlı olduğundan yanıt, her seferinde bir belirteç gelecek şekilde oluşturulur. Ultralytics LLM arayüzü, stream=True değerini sağlayıcıya iletir; böylece algılanmış bir sahneyi açıklamasını isteyen YOLO26 işlem hattı, gelen her metin parçasını ulaşır ulaşmaz yazdırabilir.

N-Gramlardan Sinir Ağı Modellerine#

Claude Shannon, bilgi kuramı üzerine 1948 tarihli makalesinde n-gram istatistiklerinden yararlanarak İngilizce için sözcük ve harf yaklaşımları oluşturdu. Bir n-gram modeli, bir derlemde sözcük dizilerinin ne sıklıkta görüldüğünü sayarak P(sonraki sözcük | önceki n-1 sözcük) değerini tahmin eder; 1970'lerin ve 1980'lerin IBM konuşma tanıma sistemleri bu modellere dayanıyordu. n = 2 olan bigram modeli, fikri birkaç satır Python koduyla gösterir:

from collections import Counter

sentences = ["the cat sat on the mat .", "the dog sat on the rug .", "the cat saw the dog ."]
corpus = " ".join(sentences).split()

# Count word pairs to estimate P(next word | previous word)
pairs = Counter(zip(corpus, corpus[1:]))
firsts = Counter(corpus[:-1])

# The model's next-word distribution after "the"
print({nxt: round(n / firsts["the"], 2) for (prev, nxt), n in pairs.items() if prev == "the"})

# Chain rule: a sentence's probability is the product of its next-word probabilities
sentence = ["the", "dog", "sat", "on", "the", "mat"]
p = 1.0
for prev, nxt in zip(sentence, sentence[1:]):
    p *= pairs[(prev, nxt)] / firsts[prev]
print(f"P(dog sat on the mat | the) = {p:.4f}")

Model, "the" sözcüğünden sonra "cat" ve "dog" sözcüklerini ayrı ayrı 0,33; "mat" ve "rug" sözcüklerini ise ayrı ayrı 0,17 olasılıkla tahmin eder. Derlemde hiçbir zaman yer almasa da "the" sonrasında gelen "dog sat on the mat" dizisine 0,0278 olasılık verir, çünkü bu dizideki her sözcük çifti derlemde bulunur. Derlemde bulunmayan her çiftin olasılığı sıfırdır; bu nedenle uygulamalı n-gram modellerinde Kneser-Ney gibi yumuşatma yöntemleri gerekir. Bu modeller yine de n-1 sözcüğün ötesindeki bağlamı kullanamaz.

Yoshua Bengio ve çalışma arkadaşlarının 2003 tarihli sinirsel olasılıksal dil modeli, sayımların yerine öğrenilmiş gömme vektörlerini ve bir sinir ağını koyarak benzer sözcüklerin istatistiksel gücü paylaşmasını sağladı. Tekrarlayan sinir ağları (RNN'ler) ve LSTM'ler kullanılabilir bağlamı genişletti; tüm bağlam penceresine yayılan öz dikkat mekanizmasını kullanan transformer ise 2017'den sonra standart mimari hâline geldi. GPT-3, 2020'de 175 milyar parametreli bir dil modelinin istemindeki örneklerden yeni görevler öğrenebileceğini gösterdi.

Nedensel ve Maskeli Dil Modelleme#

Nedensel veya otoregresif dil modelleme, her belirteci solundaki belirteçlerden tahmin eder ve üretici modellerin temelindeki hedeftir. Maskeli dil modelleme, bazı belirteçleri gizler ve bunları her iki yöndeki bağlamdan tahmin eder. BERT, girdi belirteçlerinin %15'i üzerinde bu şekilde eğitilir; iki yönlü bağlamı sayesinde sınıflandırma ve adlandırılmış varlık tanıma gibi anlama görevlerinde güçlüdür, ancak soldan sağa metin yazamaz. Difüzyon dil modelleri, maskeleme yöntemini birkaç adımda çok sayıda konumu paralel olarak dolduran bir üreticiye dönüştürür.

Eğitim ve Değerlendirme#

Eğitim, öz denetimli öğrenmedir: Ham metin kendi etiketlerini sağlar ve model, tahmin edilen dağılımla her bir gerçek sonraki belirteç arasındaki çapraz entropi kayıp fonksiyonunu en aza indirir. Bu ortalama kaybın üstel değeri, temel içsel ölçüt olan şaşkınlıktır; ölçekleme yasaları ise modeller, veriler ve hesaplama kapasitesi büyüdükçe kaybın nasıl azaldığını açıklar. Önceden eğitilmiş temel model yalnızca metni sürdürür; yönerge ince ayarı ve insan geri bildiriminden pekiştirmeli öğrenme (RLHF) ise onu isteklere uyan bir asistana dönüştürür.

Dil Modellemesi ve İlişkili Terimler#

• Dil modeli ve LLM: Dil modeli, bir bigram tablosundan transformer'a kadar bu görev üzerinde eğitilmiş herhangi bir modeldir. LLM ise trilyonlarca belirteç üzerinde eğitilmiş ve milyarlarca parametre içeren bir dil modelidir.
• Doğal dil işleme (NLP): Dil modellemesinin tek bir görev olduğu, bilgisayarların insan dilini işlediği alanın tamamı.
• Görsel otoregresif modelleme (VAR): Aynı sonraki adım tahminini görüntülere uygular; sözcükler yerine belirteç haritalarını düşük çözünürlükten yüksek çözünürlüğe doğru üretir.