Kullback-Leibler Divergence (KL Divergence)
Kullback-Leibler ayrışımı, iki olasılık dağılımının ne kadar farklı olduğunu ölçer. Sıralama; eğitimde, kayma tespitinde ve INT8 kalibrasyonunda önemlidir.
Kullback-Leibler ayrışımı (KL ayrışımı) olarak da adlandırılan göreli entropi, bir olasılık dağılımından gelen sonuçları başka bir dağılım için tasarlanmış bir kodla kodlamak için ortalama ne kadar ek bilgi gerektiğini ölçer. Makine öğreniminde, bir modelin olasılıklarını referans dağılım yerine kullanmanın maliyetini ölçer. Sıralama önemlidir: İlk dağılım, her sonucun ne kadar ağırlık taşıdığını belirler. Solomon Kullback ve Richard A. Leibler bu ölçüyü 1951 tarihli Bilgi ve Yeterlilik Üzerine makalelerinde tanıttı.
KL Ayrışımı Nasıl Hesaplanır#
Ayrık P ve Q dağılımları için sonuçları etiket veya bölmeye göre eşleştir. Her sonuç için P'deki olasılığını Q'daki olasılığına böl, logaritmasını al ve P'deki olasılığıyla çarp. Ağırlıklı terimleri topla. D_KL(P || Q) gösteriminde P, ağırlıkları sağlayan dağılımdır. Sürekli dağılımlar için olasılık yoğunluklarını kullan ve ağırlıklı logaritmik oranı sonuç uzayı üzerinde tümle. Doğal logaritmalar nat, 2 tabanlı logaritmalar bit verir.
P = (0.8, 0.2) ve Q = (0.5, 0.5) için terimler 0.8 * ln(0.8 / 0.5) ve 0.2 * ln(0.2 / 0.5) şeklindedir. Toplamları 0.193 nat eder. P ile Q'nun yerini değiştirmek 0.223 nat verir. Tek tek terimler negatif olabilir; toplam her zaman negatif değildir.
Python'da KL Ayrışımı#
scikit-learn ile birlikte sunulan el yazısı rakam örneği, etiketlenmiş 1.797 görüntü içerir. Örneğin etiket frekanslarını tekdüze bir dağılımla karşılaştırmak, görüntü sınıflandırma örneğinin sınıflar arasında eşit dağılımdan ne kadar saptığını gösterir. SciPy'nin entropy işlevi her iki girdiyi de normalleştirir; bu nedenle sınıf sayılarını da olasılıkları da kabul eder.
import numpy as np
from scipy.stats import entropy
from sklearn.datasets import load_digits
digits = load_digits()
labels = digits.target
counts = np.bincount(labels, minlength=10)
uniform = np.full(10, 0.1)
# Use the observed label frequencies as the first distribution.
kl = entropy(counts, uniform)
print(f"KL(observed || uniform): {kl:.6f} nats")Sonuç yaklaşık 0.00011 nat değerindedir; bu, her rakam için görüntü sayısının kabaca eşit olduğunu yansıtır.
KL Ayrışımı Değerleri Nasıl Yorumlanır#
Sıfır, dağılımların eşleştiği anlamına gelir. Yön, birimler ve sonuç tanımları aynı kaldığında daha büyük değerler daha büyük uyumsuzluğa işaret eder. Model izlemede KL ayrışımı, canlı bir zaman aralığı ile temel çizgi arasındaki tahmin edilen sınıf frekanslarındaki değişiklikleri işaretleyebilir. Evrensel bir uyarı eşiği yoktur: Değer, bölmelendirmeye ve örneklem büyüklüğüne göre değişir. Tahmin edilen sınıf frekanslarındaki bir kayma inceleme başlatabilir; etiketlenmiş verilerdeki performans ölçütleri model kalitesindeki düşüşü ölçer.
Ayrık bir sonuç P'de pozitif olasılığa, Q'da ise sıfır olasılığa sahip olduğunda sonsuz değer ortaya çıkar. P'de olasılığı sıfır olan bir sonuç katkıda bulunmaz. Gözlemlenen bir histogramda boş bir bölme, sınırlı örneklemeden kaynaklanabilir. Normalleştirmeden önce her bölmeye küçük bir sayı eklemek, elde edilen yumuşatılmış dağılımlar için sonlu bir değer üretir. Gayriresmî KL mesafesi adı aynı niceliği ifade eder; bu nicelik simetrik değildir ve matematiksel bir mesafe için gereken üçgen eşitsizliğini sağlamaz.
KL Ayrışımı Nerelerde Kullanılır#
Bilgi damıtımında öğrenci, öğretmenin tam sınıf dağılımından öğrenebilir. Yumuşak hedefli damıtımda her iki model için sıcaklıkla ölçeklendirilmiş softmax olasılıkları kullanılır. KL ayrışımında öğretmeni ilk sıraya koymak, öğretmenin makul bulduğu sınıflara öğrencinin çok düşük olasılık vermesini cezalandırır. Varyasyonel bir otoenkoder, kodlanmış gizil dağılımını genellikle standart normal dağılım olan belirli bir önsel dağılıma yaklaştırmak için KL ayrışımını düzenlileştirme amacıyla kullanır.
Eğitim sonrası model nicemlemesinde, entropi kalibrasyonu, benzetilmiş INT8 nicemlemesinden önceki ve sonraki aktivasyon histogramlarını karşılaştırır. En düşük KL ayrışımını veren kırpma eşiğini seçer. Ultralytics TensorRT dışa aktarıcısı, NVIDIA Jetson üzerinde derin öğrenme hızlandırıcısını (DLA) hedefleyen ve DLA ile uyumlu TensorRT 7–10 sürümünü kullanan YOLO26 INT8 eğitim sonrası dışa aktarımları için entropi kalibrasyonunu seçer.
KL Ayrışımı, Çapraz Entropi ve Jensen-Shannon Ayrışımı Karşılaştırması#
Çapraz entropi kaybı, P'nin özündeki belirsizliği KL ayrışımıyla ölçülen ek maliyete ekler. P sabit olduğunda her iki kayıp da Q için aynı optimuma sahiptir. P tek-sıcak bir hedef olduğunda belirsizliği sıfırdır; bu nedenle her iki kayıp da Q'nun etiketli sınıfa atadığı olasılığın negatif logaritmasına eşittir.
Jensen-Shannon ayrışımı, iki KL değerinin ortalamasını alır: Biri P'den orta nokta dağılımına, diğeri Q'dan aynı orta nokta dağılımına olan değerdir. Orta nokta dağılımı, iki dağılımdan herhangi birinde görünen her sonuca pozitif olasılık atar. Böylece Jensen-Shannon ayrışımı simetrik olur ve dağılımların ortak sonucu olmadığında ulaşılan 1 bit maksimum değerine sahip olur.










