Perplexity

Perpleksite, olasılıksal bir modelin bir token dizisini ne kadar iyi tahmin ettiğini ölçen bir değerlendirme metriğidir. En yaygın olarak dil modelleme alanında kullanılır; burada daha düşük bir değer, modelin değerlendirilen metni daha az şaşırtıcı bulduğu anlamına gelir. Sezgisel olarak 10'luk bir perpleksite, her tahmin adımında modelin, 10 eşit derecede olası alternatif arasından seçim yapıyormuş gibi belirsiz olduğunu gösterir. Bu yorum yaklaşıktır, ancak metriği anlamayı kolaylaştırır.

Perpleksite Nasıl Çalışır?#

Bir dil modeli, önceki bağlama dayalı olarak olası her sonraki token için bir olasılık atar. Google'ın dil modellerine giriş bölümünde açıklandığı gibi, otoregresif bir model art arda sonraki token'ı tahmin eder ve bunu bağlama ekler.

Perpleksite, bir değerlendirme dizisi boyunca doğru token'lara atanan olasılıkları özetler. Çapraz entropi olarak ifade edilen ortalama negatif log-olur-olabilirlikten türetilir:

• Çapraz entropi doğal logaritmalar kullanıyorsa, perpleksite çapraz entropinin üssü olarak e'dir.
• Çapraz entropi 2 tabanlı logaritmalar kullanıyorsa, perpleksite çapraz entropinin üssü olarak 2'dir.

Google Makine Öğrenimi Sözlüğü ilgili bir yorum sağlar: perpleksite, modelin doğru tahmini içermesi için ihtiyaç duyacağı tahmin sayısını yaklaşık olarak belirler. NLTK dil modeli perpleksite API tarafından gösterildiği gibi, kütüphaneler de bunu doğrudan hesaplayabilir.

Bu minimal Python örneği, dört doğru token'a atanan olasılıklardan perpleksiteyi hesaplar:

import math

# Probability assigned to the correct token at each position
token_probabilities = [0.50, 0.25, 0.80, 0.40]

negative_log_probs = [-math.log(probability) for probability in token_probabilities]
cross_entropy = sum(negative_log_probs) / len(negative_log_probs)
perplexity = math.exp(cross_entropy)

print(f"Cross-entropy: {cross_entropy:.3f}")
print(f"Perplexity: {perplexity:.3f}")

Hesaplama, Python'un belgelenmiş math.exp üstel fonksiyonunu kullanır. Model eğitim kodunda, PyTorch çapraz entropi kaybı gibi çerçeveler genellikle üssü alınmadan önce ortalama kaybı hesaplar.

Perpleksite Nasıl Yorumlanır?#

Daha düşük perpleksite genellikle bir modelin gözlemlenen token'lara daha yüksek olasılıklar atadığını gösterir. Bununla birlikte, sayının yalnızca kontrollü bir karşılaştırma içinde bir anlamı vardır.

Model A'nın perpleksitesinin 20 ve Model B'nin aynı doğrulama verisi üzerindeki perpleksitesinin 30 olduğunu varsayalım. Model A bu veri kümesini daha etkili bir şekilde tahmin eder. Bu, mutlaka daha olgusal, yararlı, güvenli veya okunabilir yanıtlar ürettiği anlamına gelmez.

Perpleksite ayrıca birkaç ilgili kavramdan farklıdır:

• Kayıp fonksiyonu: Çapraz entropi temel eğitim veya değerlendirme kaybıdır, perpleksite ise bunun üssü alınmış, daha sezgisel gösterimidir.
• Doğruluk: Doğruluk, seçilen bir tahminin doğru olup olmadığını kontrol eder. Perpleksite, modelin alternatiflere ne kadar olasılık atadığı dahil olmak üzere tüm tahmin edilen olasılık dağılımını değerlendirir.
• Güven: Güven genellikle tek bir tahmin için kesinliği tanımlar. Perpleksite, birçok dizi konumunda tahmine dayalı belirsizliği toplar.
• Üretim kalitesi: Düşük perpleksiteli bir model akıcı ancak tekrarlayan, yanlış veya yardımcı olmayan metinler üretebilir. Perpleksite, olgusallığı veya akıl yürütmeyi doğrudan ölçmez.

Gerçek Dünya Uygulamaları#

• Tahmine dayalı metin ve dizi üretimi: Geliştiriciler, amaçlanan etki alanından ayrılmış metinleri kullanarak klavye önerileri, transkripsiyon veya otomatik tamamlama için dil modellerini karşılaştırabilir. Örneğin, tıbbi terminolojide daha düşük perpleksiteye sahip bir model, klinik diktasyonda daha iyi sonraki token tahminleri sağlayabilir. Metrik, gecikme ve kullanıcı kabulü ayrı ayrı değerlendirilmeden önce bir model seçmeye yardımcı olabilir.

• Görsel dikkat ile görüntü altyazılama: Bir görüntü altyazılama sistemi genellikle görsel bir kodlayıcı ve ardından bir dil kod çözücü kullanır. Perpleksite, kod çözücünün görüntü özellikleri verildiğinde referans altyazı token'larını ne kadar iyi tahmin ettiğini ölçebilir. Düşük perpleksite tek başına bir altyazının her nesneyi doğru bir şekilde tanımlayıp tanımlamadığını veya hayali ayrıntılardan kaçınıp kaçınmadığını belirleyemese de, bu durum görsel-dil modelleri ile ilgilidir.

Olasılığa dayalı değerlendirme, uzmanlaşmış tanılamaları da destekleyebilir. NVIDIA'nın log-olasılık değerlendirme rehberi, token olasılıklarının, serbest biçimli üretim gerektirmeden perpleksite gibi metriklerde nasıl birleştirilebileceğini açıklar.

Sınırlamalar ve En İyi Uygulamalar#

Modeller farklı tokenizasyon şemaları kullandığında perpleksite değerleri karşılaştırılmamalıdır. Kelime düzeyinde bir model, karakter düzeyinde bir model ve alt kelime tabanlı büyük dil modeli, aynı cümleyi farklı şekilde bölerek tahmin adımlarının sayısını ve zorluğunu değiştirir.

Değerlendirme veri kümeleri de hedef etki alanı ile eşleşmelidir. Bir model haber makalelerinde düşük perpleksite elde edebilir ancak kaynak kodunda veya teknik destek sohbetlerinde zayıf performans gösterebilir. Temsilci, ayrı değerlendirme verileri ve tutarlı ön işleme kullanarak established makine öğrenimi kalite yönergelerini takip edin.

Çok modlu ve bilgisayarlı görü sistemlerinde, perpleksiteyi görev odaklı önlemlerle eşleştirin. Model değerlendirme ve ince ayar hakkındaki Ultralytics kılavuzu, görsel tahminler için hassasiyet, geri çağrım ve ortalama ortalama hassasiyet gibi metrikleri kapsar. Birlikte, dil ve görü metrikleri yalnızca perpleksiteden daha eksiksiz bir değerlendirme sağlar.