Semantic Entropy
Anlamsal entropi, bir LLM'nin örneklenmiş yanıtlarının ifade biçiminden ziyade anlamlarına ilişkin belirsizliğini ölçer ve olası uydurma yanıtları belirler.
Anlamsal entropi, bir büyük dil modelinin (LLM) yanıtının anlamı konusunda ne kadar belirsiz olduğunu ölçer. Aynı soruya verilen birkaç yanıt örneklenir, aynı şeyi söyleyenler gruplandırılır ve gruplar üzerinden entropi hesaplanır. On örnek aynı yanıtı on farklı biçimde ifade ediyorsa anlamsal entropi sıfırdır; üç farklı yanıt veriyorlarsa entropi yüksektir ve model muhtemelen tahmin yürütüyordur. Oxford Üniversitesi'nden Lorenz Kuhn, Yarin Gal ve Sebastian Farquhar bu yöntemi ICLR 2023'te Semantic Uncertainty: Linguistic Invariances for Uncertainty Estimation in Natural Language Generation makalesinde tanıttı. Farquhar, Jannik Kossen, Kuhn ve Gal'ın 2024 tarihli Nature makalesi ise yöntemi halüsinasyonları saptamak için uyguladı.
Nature makalesi, uydurma olarak adlandırdığı belirli bir halüsinasyon türünü ele alıyor: hem yanlış hem de rastgele örnekleme için kullanılan tohum değerine göre değişen iddialar. Oluşturulan token'lar üzerindeki sıradan entropi bunu ayırt edemez; çünkü "Paris", "Paris'tir" ve "Başkent Paris'tir" farklı token dizileriyle aynı anlama gelir. Bu nedenle yanıtı bilen bir model bile belirsiz görünür.
Anlamsal Entropi Nasıl Hesaplanır#
- Sıfırdan farklı bir örnekleme sıcaklığıyla aynı isteme yaklaşık 10 yanıt örnekle.
- Yanıtları çift yönlü gerektirimle kümelendir: Doğal dil çıkarımı modeli DeBERTa-large-MNLI veya ana Nature deneylerinde GPT-3.5 olan genel amaçlı bir LLM'nin değerlendirmesine göre, iki yanıt birbirini gerektiriyorsa aynı anlamı paylaşır. Bu adım, doğal dil anlama (NLU) biçimlerinden biridir.
- Her kümenin olasılığını, yanıtlara ait dizi olasılıklarını toplayarak tahmin et. Token olasılıklarını gizleyen kapalı bir API kullanıldığında ise kümedeki örneklerin payını kullan; bu varyanta ayrık anlamsal entropi denir.
- Küme olasılıkları üzerinden entropiyi hesapla.
Ayrık anlamsal entropi yalnızca yanıtları ve bunların kümelerini gerektirir. Aşağıdaki kod parçacığı, bir gerektirim modelinin atayacağı şekilde kümeleri belirlenmiş iki soru için bu yöntemi ham dizeler üzerindeki naif entropiyle karşılaştırır:
from collections import Counter
from scipy.stats import entropy
# Five sampled answers per question, and the meaning cluster entailment checks assign to each
samples = {
"Capital of Australia?": (
["Canberra", "Canberra.", "It's Canberra.", "Canberra, ACT", "Canberra"],
["Canberra"] * 5,
),
"Year Canberra was founded?": (
["1913", "In 1913.", "1908", "1927", "1913"],
["1913", "1913", "1908", "1927", "1913"],
),
}
for question, (answers, meanings) in samples.items():
# Naive entropy counts distinct strings; semantic entropy counts distinct meanings
naive = entropy(list(Counter(answers).values()), base=2)
semantic = entropy(list(Counter(meanings).values()), base=2)
print(f"{question} naive: {naive:.2f} bits, semantic: {semantic:.2f} bits")Her iki soru da beş örnekten dört farklı dize ürettiğinden naif entropi her biri için 1.92 bittir. Anlamsal entropi ise soruları birbirinden ayırır: Başkent sorusu için her örnek Canberra anlamına geldiğinden 0.00 bit; kuruluş yılı sorusu içinse örnekler doğru yıl olan 1913'ü, arazinin seçildiği 1908'i ve Parlamentonun oraya taşındığı 1927'yi içerdiğinden 1.37 bit.
Sonuçlar ve Sınırlamalar#
Soru yanıtlama veri kümeleri (TriviaQA, SQuAD, BioASQ, NQ-Open ve SVAMP) ile modellerin (LLaMA 2 Chat, Falcon Instruct ve Mistral Instruct) 30 farklı birleşiminde anlamsal entropi, yanlış yanıtları doğru yanıtlardan ortalama 0.790 ROC eğrisi altındaki alan (AUROC) puanıyla ayırdı. Bu değer, naif entropi için 0.691 ve modele kendi yanıtının doğru olup olmadığını soran P(True) için 0.698'di. GPT-4 tarafından 21 kişi hakkında yazılan biyografilerde, 45'i yanlış olan 150 olgusal iddiaya ayrık anlamsal entropi uygulandığında da yanlış iddiaları işaretlemede her iki temel yöntemi geride bıraktı.
Yöntemin belirgin sınırlamaları vardır:
- Maliyet: Her soru için yaklaşık 10 üretim ve ikili gerektirim denetimleri gerekir. Kossen ve çalışma arkadaşlarının 2024'te tanıttığı anlamsal entropi sondaları, modelin gizli durumlarından anlamsal entropiyi tahmin ederek bunu tek bir üretime indirir.
- Tutarlı hatalar: Eğitim verilerinden bir yanlış kanı öğrenen model her seferinde aynı yanlış yanıtı verir; bu nedenle anlamsal entropi düşük kalır ve hatayı, bilgi erişimi destekli üretimde (RAG) olduğu gibi, yalnızca harici kaynaklarla yapılan bir kontrol ortaya çıkarır.
- Uzun yanıtlar: Anlamları karşılaştırılmadan önce, biyografi deneyinde olduğu gibi paragraflar tek tek iddialara ayrılır.
Anlamsal entropi, metin için kullanılan belirsizliği nicelendirme araçlarından biridir. Şaşkınlık, sabit bir metnin model tarafından ne kadar öngörülebilir olduğunu puanlar; öz tutarlılık, örneklenmiş düşünce zinciri yanıtları arasında çoğunluk oylaması yapar ve konformal tahmin bu tür puanları kapsama garantisi olan kümelere dönüştürür. Humanity's Last Exam gibi kıyaslamalar, modellerin belirttiği güven düzeyini modellerin doğru yanıt verme sıklığıyla karşılaştırarak aynı farkı diğer yönden ölçer.
Aynı denetim, bir algılayıcının bulduklarını açıklayan görsel-dil modelleri (VLM'ler) için de geçerlidir. Ultralytics LLM arayüzü, bir görüntüyü ve soruyu OpenAI uyumlu herhangi bir modele gönderir ve istek bağımsız değişkenlerini değiştirmeden iletir. Böylece bir işlem hattı, YOLO26 bir ilgi nesnesi algıladığı görüntü hakkında aynı soruyu birkaç kez sorabilir ve dönen açıklamaları kümelendirebilir.










