YOLO'yu lisansla
Ultralytics Sözlüğüne dön

Semantic Entropy

Anlamsal entropi, bir LLM'nin örneklenmiş yanıtlarının ifade biçiminden ziyade anlamlarına ilişkin belirsizliğini ölçer ve olası uydurma yanıtları belirler.

Anlamsal entropi, bir büyük dil modelinin (LLM) yanıtının anlamı konusunda ne kadar belirsiz olduğunu ölçer. Aynı soruya verilen birkaç yanıt örneklenir, aynı şeyi söyleyenler gruplandırılır ve gruplar üzerinden entropi hesaplanır. On örnek aynı yanıtı on farklı biçimde ifade ediyorsa anlamsal entropi sıfırdır; üç farklı yanıt veriyorlarsa entropi yüksektir ve model muhtemelen tahmin yürütüyordur. Oxford Üniversitesi'nden Lorenz Kuhn, Yarin Gal ve Sebastian Farquhar bu yöntemi ICLR 2023'te Semantic Uncertainty: Linguistic Invariances for Uncertainty Estimation in Natural Language Generation makalesinde tanıttı. Farquhar, Jannik Kossen, Kuhn ve Gal'ın 2024 tarihli Nature makalesi ise yöntemi halüsinasyonları saptamak için uyguladı.

Nature makalesi, uydurma olarak adlandırdığı belirli bir halüsinasyon türünü ele alıyor: hem yanlış hem de rastgele örnekleme için kullanılan tohum değerine göre değişen iddialar. Oluşturulan token'lar üzerindeki sıradan entropi bunu ayırt edemez; çünkü "Paris", "Paris'tir" ve "Başkent Paris'tir" farklı token dizileriyle aynı anlama gelir. Bu nedenle yanıtı bilen bir model bile belirsiz görünür.

Anlamsal Entropi Nasıl Hesaplanır#

  1. Sıfırdan farklı bir örnekleme sıcaklığıyla aynı isteme yaklaşık 10 yanıt örnekle.
  2. Yanıtları çift yönlü gerektirimle kümelendir: Doğal dil çıkarımı modeli DeBERTa-large-MNLI veya ana Nature deneylerinde GPT-3.5 olan genel amaçlı bir LLM'nin değerlendirmesine göre, iki yanıt birbirini gerektiriyorsa aynı anlamı paylaşır. Bu adım, doğal dil anlama (NLU) biçimlerinden biridir.
  3. Her kümenin olasılığını, yanıtlara ait dizi olasılıklarını toplayarak tahmin et. Token olasılıklarını gizleyen kapalı bir API kullanıldığında ise kümedeki örneklerin payını kullan; bu varyanta ayrık anlamsal entropi denir.
  4. Küme olasılıkları üzerinden entropiyi hesapla.

Ayrık anlamsal entropi yalnızca yanıtları ve bunların kümelerini gerektirir. Aşağıdaki kod parçacığı, bir gerektirim modelinin atayacağı şekilde kümeleri belirlenmiş iki soru için bu yöntemi ham dizeler üzerindeki naif entropiyle karşılaştırır:

from collections import Counter

from scipy.stats import entropy

# Five sampled answers per question, and the meaning cluster entailment checks assign to each
samples = {
    "Capital of Australia?": (
        ["Canberra", "Canberra.", "It's Canberra.", "Canberra, ACT", "Canberra"],
        ["Canberra"] * 5,
    ),
    "Year Canberra was founded?": (
        ["1913", "In 1913.", "1908", "1927", "1913"],
        ["1913", "1913", "1908", "1927", "1913"],
    ),
}

for question, (answers, meanings) in samples.items():
    # Naive entropy counts distinct strings; semantic entropy counts distinct meanings
    naive = entropy(list(Counter(answers).values()), base=2)
    semantic = entropy(list(Counter(meanings).values()), base=2)
    print(f"{question} naive: {naive:.2f} bits, semantic: {semantic:.2f} bits")

Her iki soru da beş örnekten dört farklı dize ürettiğinden naif entropi her biri için 1.92 bittir. Anlamsal entropi ise soruları birbirinden ayırır: Başkent sorusu için her örnek Canberra anlamına geldiğinden 0.00 bit; kuruluş yılı sorusu içinse örnekler doğru yıl olan 1913'ü, arazinin seçildiği 1908'i ve Parlamentonun oraya taşındığı 1927'yi içerdiğinden 1.37 bit.

Sonuçlar ve Sınırlamalar#

Soru yanıtlama veri kümeleri (TriviaQA, SQuAD, BioASQ, NQ-Open ve SVAMP) ile modellerin (LLaMA 2 Chat, Falcon Instruct ve Mistral Instruct) 30 farklı birleşiminde anlamsal entropi, yanlış yanıtları doğru yanıtlardan ortalama 0.790 ROC eğrisi altındaki alan (AUROC) puanıyla ayırdı. Bu değer, naif entropi için 0.691 ve modele kendi yanıtının doğru olup olmadığını soran P(True) için 0.698'di. GPT-4 tarafından 21 kişi hakkında yazılan biyografilerde, 45'i yanlış olan 150 olgusal iddiaya ayrık anlamsal entropi uygulandığında da yanlış iddiaları işaretlemede her iki temel yöntemi geride bıraktı.

Yöntemin belirgin sınırlamaları vardır:

  • Maliyet: Her soru için yaklaşık 10 üretim ve ikili gerektirim denetimleri gerekir. Kossen ve çalışma arkadaşlarının 2024'te tanıttığı anlamsal entropi sondaları, modelin gizli durumlarından anlamsal entropiyi tahmin ederek bunu tek bir üretime indirir.
  • Tutarlı hatalar: Eğitim verilerinden bir yanlış kanı öğrenen model her seferinde aynı yanlış yanıtı verir; bu nedenle anlamsal entropi düşük kalır ve hatayı, bilgi erişimi destekli üretimde (RAG) olduğu gibi, yalnızca harici kaynaklarla yapılan bir kontrol ortaya çıkarır.
  • Uzun yanıtlar: Anlamları karşılaştırılmadan önce, biyografi deneyinde olduğu gibi paragraflar tek tek iddialara ayrılır.

Anlamsal entropi, metin için kullanılan belirsizliği nicelendirme araçlarından biridir. Şaşkınlık, sabit bir metnin model tarafından ne kadar öngörülebilir olduğunu puanlar; öz tutarlılık, örneklenmiş düşünce zinciri yanıtları arasında çoğunluk oylaması yapar ve konformal tahmin bu tür puanları kapsama garantisi olan kümelere dönüştürür. Humanity's Last Exam gibi kıyaslamalar, modellerin belirttiği güven düzeyini modellerin doğru yanıt verme sıklığıyla karşılaştırarak aynı farkı diğer yönden ölçer.

Aynı denetim, bir algılayıcının bulduklarını açıklayan görsel-dil modelleri (VLM'ler) için de geçerlidir. Ultralytics LLM arayüzü, bir görüntüyü ve soruyu OpenAI uyumlu herhangi bir modele gönderir ve istek bağımsız değişkenlerini değiştirmeden iletir. Böylece bir işlem hattı, YOLO26 bir ilgi nesnesi algıladığı görüntü hakkında aynı soruyu birkaç kez sorabilir ve dönen açıklamaları kümelendirebilir.

Çözümleri keşfet

Sporda bilgisayarlı görü

Sporda bilgisayarlı görü

Ultralytics YOLO'nun oyuncu ve top takibi, performans analitiği, antrenörlük içgörüleri ve sporcu rehabilitasyonuyla spor alanında görsel yapay zekâyı nasıl güçlendirdiğini keşfet.
Daha fazla bilgi edin
Hava görüntüleri için bilgisayarlı görü

Hava görüntüleri için bilgisayarlı görü

İHA ve hava görüntülerini Ultralytics YOLO ile tarım, su ürünleri yetiştiriciliği, koruma çalışmaları ve jeo-uzamsal analiz için gerçek zamanlı içgörülere dönüştür.
Daha fazla bilgi edin
Havacılıkta bilgisayarlı görü

Havacılıkta bilgisayarlı görü

Uçak denetimi, pistteki yabancı madde tespiti, havaalanı yer operasyonları ve kompozit malzeme kusurlarının tespiti için Ultralytics YOLO ile havacılık ve uzay sektöründe bilgisayarlı görü uygula.
Daha fazla bilgi edin
Güvenlikte bilgisayarlı görü

Güvenlikte bilgisayarlı görü

Ultralytics YOLO modelleriyle her sahayı koru. Görsel yapay zekâ; çevre izleme, tehdit tespiti, plaka tanıma ve iş yeri güvenliğini destekler.
Daha fazla bilgi edin
Robotikte bilgisayarlı görü

Robotikte bilgisayarlı görü

Ultralytics YOLO modelleriyle daha akıllı makinelere güç ver. Robotikte görsel yapay zekâ; otonom navigasyonu, algılamayı, nesne takibini ve gerçek zamanlı kontrolü destekler.
Daha fazla bilgi edin
Lojistikte bilgisayarlı görü

Lojistikte bilgisayarlı görü

Ultralytics YOLO modelleriyle lojistiği kolaylaştır. Görüntü yapay zekâsı; paket denetimini, ayrıştırmayı, araç takibini ve gerçek zamanlı depo güvenliği izlemeyi mümkün kılar.
Daha fazla bilgi edin
Perakendede bilgisayarlı görü

Perakendede bilgisayarlı görü

Ultralytics YOLO modelleriyle perakendeyi yeniden tasarla. Görüntü yapay zekâsı; envanter takibini, raf izlemeyi, kuyruk yönetimini ve daha kapsamlı müşteri analizlerini mümkün kılar.
Daha fazla bilgi edin
Sağlık hizmetlerinde bilgisayarlı görü

Sağlık hizmetlerinde bilgisayarlı görü

Ultralytics YOLO modelleriyle sağlık çözümleri geliştir. Sağlık hizmetlerinde görüntü yapay zekâsı; daha hızlı tıbbi görüntüleme, daha akıllı tanı ve hasta takibini mümkün kılar.
Daha fazla bilgi edin
Üretimde bilgisayarlı görü

Üretimde bilgisayarlı görü

Ultralytics YOLO modelleriyle üretimi optimize et. Görsel yapay zekâ; kalite kontrolünü, kusur tespitini, kişisel koruyucu donanım uyumunu ve montaj hattı otomasyonunu destekler.
Daha fazla bilgi edin
Otomotivde bilgisayarlı görü

Otomotivde bilgisayarlı görü

Ultralytics YOLO modelleriyle otomotivde bilgisayarlı görüden yararlan. Görsel yapay zekâ; daha akıllı yollar için yol güvenliğini, sürüş desteğini ve araç otomasyonunu ileri taşır.
Daha fazla bilgi edin
Tarımda bilgisayarlı görü

Tarımda bilgisayarlı görü

Ultralytics YOLO modelleriyle akıllı tarıma görüntü yapay zekâsı kazandır. Daha yüksek ve akıllı verim için mahsul izleme, hayvan takibi ve hassas tarımı destekle.
Daha fazla bilgi edin

Geleceğin yapay zekasını birlikte inşa edelim!

Makine öğreniminin geleceğine yolculuğuna başla