YOLO'yu lisansla
Ultralytics Sözlüğüne dön

Kullback-Leibler Divergence (KL Divergence)

Kullback-Leibler ayrışımı, iki olasılık dağılımının ne kadar farklı olduğunu ölçer. Sıralama; eğitimde, kayma tespitinde ve INT8 kalibrasyonunda önemlidir.

Kullback-Leibler ayrışımı (KL ayrışımı) olarak da adlandırılan göreli entropi, bir olasılık dağılımından gelen sonuçları başka bir dağılım için tasarlanmış bir kodla kodlamak için ortalama ne kadar ek bilgi gerektiğini ölçer. Makine öğreniminde, bir modelin olasılıklarını referans dağılım yerine kullanmanın maliyetini ölçer. Sıralama önemlidir: İlk dağılım, her sonucun ne kadar ağırlık taşıdığını belirler. Solomon Kullback ve Richard A. Leibler bu ölçüyü 1951 tarihli Bilgi ve Yeterlilik Üzerine makalelerinde tanıttı.

KL Ayrışımı Nasıl Hesaplanır#

Ayrık P ve Q dağılımları için sonuçları etiket veya bölmeye göre eşleştir. Her sonuç için P'deki olasılığını Q'daki olasılığına böl, logaritmasını al ve P'deki olasılığıyla çarp. Ağırlıklı terimleri topla. D_KL(P || Q) gösteriminde P, ağırlıkları sağlayan dağılımdır. Sürekli dağılımlar için olasılık yoğunluklarını kullan ve ağırlıklı logaritmik oranı sonuç uzayı üzerinde tümle. Doğal logaritmalar nat, 2 tabanlı logaritmalar bit verir.

P = (0.8, 0.2) ve Q = (0.5, 0.5) için terimler 0.8 * ln(0.8 / 0.5) ve 0.2 * ln(0.2 / 0.5) şeklindedir. Toplamları 0.193 nat eder. P ile Q'nun yerini değiştirmek 0.223 nat verir. Tek tek terimler negatif olabilir; toplam her zaman negatif değildir.

Python'da KL Ayrışımı#

scikit-learn ile birlikte sunulan el yazısı rakam örneği, etiketlenmiş 1.797 görüntü içerir. Örneğin etiket frekanslarını tekdüze bir dağılımla karşılaştırmak, görüntü sınıflandırma örneğinin sınıflar arasında eşit dağılımdan ne kadar saptığını gösterir. SciPy'nin entropy işlevi her iki girdiyi de normalleştirir; bu nedenle sınıf sayılarını da olasılıkları da kabul eder.

import numpy as np
from scipy.stats import entropy
from sklearn.datasets import load_digits

digits = load_digits()
labels = digits.target
counts = np.bincount(labels, minlength=10)
uniform = np.full(10, 0.1)

# Use the observed label frequencies as the first distribution.
kl = entropy(counts, uniform)
print(f"KL(observed || uniform): {kl:.6f} nats")

Sonuç yaklaşık 0.00011 nat değerindedir; bu, her rakam için görüntü sayısının kabaca eşit olduğunu yansıtır.

KL Ayrışımı Değerleri Nasıl Yorumlanır#

Sıfır, dağılımların eşleştiği anlamına gelir. Yön, birimler ve sonuç tanımları aynı kaldığında daha büyük değerler daha büyük uyumsuzluğa işaret eder. Model izlemede KL ayrışımı, canlı bir zaman aralığı ile temel çizgi arasındaki tahmin edilen sınıf frekanslarındaki değişiklikleri işaretleyebilir. Evrensel bir uyarı eşiği yoktur: Değer, bölmelendirmeye ve örneklem büyüklüğüne göre değişir. Tahmin edilen sınıf frekanslarındaki bir kayma inceleme başlatabilir; etiketlenmiş verilerdeki performans ölçütleri model kalitesindeki düşüşü ölçer.

Ayrık bir sonuç P'de pozitif olasılığa, Q'da ise sıfır olasılığa sahip olduğunda sonsuz değer ortaya çıkar. P'de olasılığı sıfır olan bir sonuç katkıda bulunmaz. Gözlemlenen bir histogramda boş bir bölme, sınırlı örneklemeden kaynaklanabilir. Normalleştirmeden önce her bölmeye küçük bir sayı eklemek, elde edilen yumuşatılmış dağılımlar için sonlu bir değer üretir. Gayriresmî KL mesafesi adı aynı niceliği ifade eder; bu nicelik simetrik değildir ve matematiksel bir mesafe için gereken üçgen eşitsizliğini sağlamaz.

KL Ayrışımı Nerelerde Kullanılır#

Bilgi damıtımında öğrenci, öğretmenin tam sınıf dağılımından öğrenebilir. Yumuşak hedefli damıtımda her iki model için sıcaklıkla ölçeklendirilmiş softmax olasılıkları kullanılır. KL ayrışımında öğretmeni ilk sıraya koymak, öğretmenin makul bulduğu sınıflara öğrencinin çok düşük olasılık vermesini cezalandırır. Varyasyonel bir otoenkoder, kodlanmış gizil dağılımını genellikle standart normal dağılım olan belirli bir önsel dağılıma yaklaştırmak için KL ayrışımını düzenlileştirme amacıyla kullanır.

Eğitim sonrası model nicemlemesinde, entropi kalibrasyonu, benzetilmiş INT8 nicemlemesinden önceki ve sonraki aktivasyon histogramlarını karşılaştırır. En düşük KL ayrışımını veren kırpma eşiğini seçer. Ultralytics TensorRT dışa aktarıcısı, NVIDIA Jetson üzerinde derin öğrenme hızlandırıcısını (DLA) hedefleyen ve DLA ile uyumlu TensorRT 7–10 sürümünü kullanan YOLO26 INT8 eğitim sonrası dışa aktarımları için entropi kalibrasyonunu seçer.

KL Ayrışımı, Çapraz Entropi ve Jensen-Shannon Ayrışımı Karşılaştırması#

Çapraz entropi kaybı, P'nin özündeki belirsizliği KL ayrışımıyla ölçülen ek maliyete ekler. P sabit olduğunda her iki kayıp da Q için aynı optimuma sahiptir. P tek-sıcak bir hedef olduğunda belirsizliği sıfırdır; bu nedenle her iki kayıp da Q'nun etiketli sınıfa atadığı olasılığın negatif logaritmasına eşittir.

Jensen-Shannon ayrışımı, iki KL değerinin ortalamasını alır: Biri P'den orta nokta dağılımına, diğeri Q'dan aynı orta nokta dağılımına olan değerdir. Orta nokta dağılımı, iki dağılımdan herhangi birinde görünen her sonuca pozitif olasılık atar. Böylece Jensen-Shannon ayrışımı simetrik olur ve dağılımların ortak sonucu olmadığında ulaşılan 1 bit maksimum değerine sahip olur.

Çözümleri keşfet

Sporda bilgisayarlı görü

Sporda bilgisayarlı görü

Ultralytics YOLO'nun oyuncu ve top takibi, performans analitiği, antrenörlük içgörüleri ve sporcu rehabilitasyonuyla spor alanında görsel yapay zekâyı nasıl güçlendirdiğini keşfet.
Daha fazla bilgi edin
Hava görüntüleri için bilgisayarlı görü

Hava görüntüleri için bilgisayarlı görü

İHA ve hava görüntülerini Ultralytics YOLO ile tarım, su ürünleri yetiştiriciliği, koruma çalışmaları ve jeo-uzamsal analiz için gerçek zamanlı içgörülere dönüştür.
Daha fazla bilgi edin
Havacılıkta bilgisayarlı görü

Havacılıkta bilgisayarlı görü

Uçak denetimi, pistteki yabancı madde tespiti, havaalanı yer operasyonları ve kompozit malzeme kusurlarının tespiti için Ultralytics YOLO ile havacılık ve uzay sektöründe bilgisayarlı görü uygula.
Daha fazla bilgi edin
Güvenlikte bilgisayarlı görü

Güvenlikte bilgisayarlı görü

Ultralytics YOLO modelleriyle her sahayı koru. Görsel yapay zekâ; çevre izleme, tehdit tespiti, plaka tanıma ve iş yeri güvenliğini destekler.
Daha fazla bilgi edin
Robotikte bilgisayarlı görü

Robotikte bilgisayarlı görü

Ultralytics YOLO modelleriyle daha akıllı makinelere güç ver. Robotikte görsel yapay zekâ; otonom navigasyonu, algılamayı, nesne takibini ve gerçek zamanlı kontrolü destekler.
Daha fazla bilgi edin
Lojistikte bilgisayarlı görü

Lojistikte bilgisayarlı görü

Ultralytics YOLO modelleriyle lojistiği kolaylaştır. Görüntü yapay zekâsı; paket denetimini, ayrıştırmayı, araç takibini ve gerçek zamanlı depo güvenliği izlemeyi mümkün kılar.
Daha fazla bilgi edin
Perakendede bilgisayarlı görü

Perakendede bilgisayarlı görü

Ultralytics YOLO modelleriyle perakendeyi yeniden tasarla. Görüntü yapay zekâsı; envanter takibini, raf izlemeyi, kuyruk yönetimini ve daha kapsamlı müşteri analizlerini mümkün kılar.
Daha fazla bilgi edin
Sağlık hizmetlerinde bilgisayarlı görü

Sağlık hizmetlerinde bilgisayarlı görü

Ultralytics YOLO modelleriyle sağlık çözümleri geliştir. Sağlık hizmetlerinde görüntü yapay zekâsı; daha hızlı tıbbi görüntüleme, daha akıllı tanı ve hasta takibini mümkün kılar.
Daha fazla bilgi edin
Üretimde bilgisayarlı görü

Üretimde bilgisayarlı görü

Ultralytics YOLO modelleriyle üretimi optimize et. Görsel yapay zekâ; kalite kontrolünü, kusur tespitini, kişisel koruyucu donanım uyumunu ve montaj hattı otomasyonunu destekler.
Daha fazla bilgi edin
Otomotivde bilgisayarlı görü

Otomotivde bilgisayarlı görü

Ultralytics YOLO modelleriyle otomotivde bilgisayarlı görüden yararlan. Görsel yapay zekâ; daha akıllı yollar için yol güvenliğini, sürüş desteğini ve araç otomasyonunu ileri taşır.
Daha fazla bilgi edin
Tarımda bilgisayarlı görü

Tarımda bilgisayarlı görü

Ultralytics YOLO modelleriyle akıllı tarıma görüntü yapay zekâsı kazandır. Daha yüksek ve akıllı verim için mahsul izleme, hayvan takibi ve hassas tarımı destekle.
Daha fazla bilgi edin

Geleceğin yapay zekasını birlikte inşa edelim!

Makine öğreniminin geleceğine yolculuğuna başla