Semantic Entropy

Anlamsal entropi, üretken yapay zekâ modelinin yanıtının anlamı konusundaki belirsizliğini ölçer. Her ifade farklılığını ayrı bir sonuç olarak ele almak yerine anlamsal açıdan eşdeğer yanıtları gruplandırır ve ortaya çıkan anlamlar arasında olasılığın ne ölçüde dağıldığını ölçer. Tekrarlanan yanıtlar tutarlı bir fikri ifade ediyorsa anlamsal entropi düşüktür. Birkaç çelişkili fikri destekliyorsa yüksektir; bu da modelin hangi yanıtın doğru olduğunu bilmeyebileceğini gösterir.

Bu ölçüt, aynı anlamın birçok farklı sözcük dizisiyle ifade edilebildiği, serbest biçimli dil üreten bir büyük dil modeli (LLM) veya başka bir sistem için özellikle önemlidir.

Anlamsal Entropi Nasıl Çalışır#

Entropi, olasılık dağılımındaki belirsizliğin genel bir ölçüsüdür: olasılık tek bir sonuçta yoğunlaştığında düşük, birkaç sonuç hâlâ makul olduğunda yüksektir. NIST entropi tanımı, temel bilgi kuramsal kavramı açıklar. (csrc.nist.gov)

Anlamsal entropi iş akışı genellikle dört adımdan oluşur:

1. Örnekleme kullanarak aynı girdi için birkaç yanıt oluştur.
2. Aynı anlamı aktaran yanıtları gruplandır.
3. Her anlamın olasılığını, görülme sıklığından veya oluşturulma olasılığından tahmin et.
4. Bu anlamsal gruplar üzerindeki entropiyi hesapla.

Örneğin, “Paris”, “Yanıt Paris” ve “Fransa’nın başkenti Paris’tir” aynı anlam grubuna aittir. “Lyon” ise başka bir gruba aittir. Sözcüksel entropi, dört dizenin tümünü farklı kabul ederek belirsizliği abartabilir; anlamsal entropi ise ilk üçünün aynı şeyi ifade ettiğini fark eder.

Gruplandırma aşamasında insan yargısından, metinsel gerektirimden veya gömme vektörleri gibi sayısal temsillerden ve scikit-learn kosinüs benzerliği gibi bir benzerlik ölçüsünden yararlanılabilir.

from collections import Counter

from scipy.stats import entropy

# Equivalent answers have already been assigned the same meaning label.
meaning_labels = [
    "Paris",
    "Paris",
    "Paris",
    "Lyon",
    "Unknown",
]

counts = Counter(meaning_labels)
probabilities = [count / len(meaning_labels) for count in counts.values()]

score = entropy(probabilities, base=2)
print(f"Semantic entropy: {score:.3f} bits")

Bu basitleştirilmiş örnekte belgelenmiş SciPy entropi işlevi kullanılıyor. Üretim sisteminde, hatalı gruplandırma nihai puanı çarpıtabileceğinden anlamsal gruplandırma dikkatle doğrulanmalıdır.

İlgili Kavramlar ve Temel Farklar#

Anlamsal entropi, daha geniş belirsizlik nicelendirme alanının bir parçasıdır; ancak yalnızca etiketler, belirteçler veya sayısal tahminler üzerindeki belirsizliği değil, anlamlar üzerindeki belirsizliği ele alır.

• Belirteç entropisi, sonraki belirteç veya tam belirteç dizisi üzerindeki belirsizliği ölçer. Zararsız ifade farklılıklarına yüksek belirsizlik atayabilir.
• Öz tutarlılık, tekrarlanan üretimlerin birbiriyle uyumlu yanıtlar verip vermediğini kontrol eder. Anlamsal entropi, farklı anlamların göreli dağılımını göstererek bu fikri genişletir.
• Güven genellikle tek bir tahmine atanan bir puandır. Anlamsal entropi ise bunun yerine olası birden çok üretimi karşılaştırır. Bunların hiçbiri otomatik olarak kalibre edilmiş olasılık şeklinde yorumlanmamalıdır; kalibrasyon, gözlemlenen sonuçlara göre değerlendirilmelidir. (scikit-learn.org)
• LLM'lerde halüsinasyon, üretilen içeriğin yanlış, desteksiz veya yanıltıcı olduğu bir hatadır. Anlamsal entropi hatanın kendisi değil, bir uyarı sinyalidir. Yüksek entropi çelişkili yanıtları ortaya çıkarabilir; düşük entropi ise doğruluğu kanıtlamaz, çünkü model aynı yanlış iddiayı tutarlı biçimde tekrarlayabilir. Dolayısıyla halüsinasyonlar kendinden emin ve kendi içinde tutarlı olabilir. (openai.com)
• Anlamsal segmentasyon, her görüntü pikseline bir sınıf atar. “Anlamsal” sözcüğünü paylaşmasına rağmen bu, bir bilgisayarlı görü görevidir ve üretilen anlamlar üzerindeki entropiyle ilişkili değildir.

Gerçek Dünya Uygulamaları#

Soru yanıtlama asistanları: Bir müşteri destek asistanı, yanıt vermeden önce birkaç yanıt örnekleyebilir. Çıktılar, garantinin kazara oluşan hasarı kapsayıp kapsamadığı konusunda fikir ayrılığına düşerse yüksek anlamsal entropi; belge getirme, açıklama isteme veya insan incelemesi sürecini tetikleyebilir. Getirme destekli üretim (RAG) ile birlikte kullanıldığında, desteksiz bir politika iddiasının müşteriye ulaşma olasılığını azaltır.

Görüntü-dil karar desteği: Bir görüntü-dil modeli (VLM), tekrarlanan üretimlerde endüstriyel bir görüntüyü “yüzey korozyonu”, “yağ kalıntısı” veya “normal renk değişimi” olarak tanımlayabilir. Yüksek anlamsal entropi, hatalı bir bakım kararına yol açabilecek anlamlı bir uyuşmazlığı gösterir. Sistem, akıcı tek bir tanımı kesin doğru kabul etmek yerine görüntüyü bir denetçiye yönlendirebilir.

Pratik Kullanım ve Sınırlamalar#

Anlamsal entropi, risk temelli bir değerlendirme hattının bileşenlerinden biri olarak ele alınmalıdır. Ekipler, yüksek puanların kendi alanlarında gerçekten daha fazla hatayla örtüşüp örtüşmediğini test etmeli, eşikleri hataların sonuçlarına göre seçmeli ve yanıt vermekten kaçınma ya da insan incelemesi seçeneğini korumalıdır. NIST Yapay Zekâ Risk Yönetimi Çerçevesi Temel Bileşeni, belirsizliğin ölçülmesini ve değerlendirme sonuçlarının süregelen risk izlemesine bağlanmasını vurgular. (airc.nist.gov)

Açık uçlu, üretilen çıktılar için en uygunudur. Yapılandırılmış bilgisayarlı görü tahminleri farklı değerlendirme yöntemleri gerektirir: Ultralytics doğrulama modu, etiketlenmiş verilere göre performansı ölçerken anlamsal entropi, çok modlu bir bileşenin eklediği serbest metinli açıklamaları değerlendirebilir.

Üretim ekipleri ayrıca puan dağılımlarını, hata kategorilerini, gecikmeyi ve girdi verilerindeki değişiklikleri izlemelidir. Google'ın üretimdeki ML sistemlerini izlemeye yönelik kılavuzu, tahmin kayması ve kalite düşüşü için günlük kaydı tutulmasını ve uyarılar oluşturulmasını önerir. Ultralytics Platform dağıtım izleme, görüntü modellerini çevreleyen daha geniş açıklama ekleme, eğitim, dağıtım ve izleme iş akışını destekleyebilir. Anlamsal entropi, bu iş akışındaki belirsiz durumları belirleyebilir; ancak olgusal doğrulama ve temsili testler yine de gereklidir.