Kullback-Leibler Divergence (KL Divergence)
Die Kullback-Leibler-Divergenz misst, wie stark sich zwei Wahrscheinlichkeitsverteilungen unterscheiden. Die Reihenfolge spielt beim Training, bei der Drift-Erkennung und bei der INT8-Kalibrierung eine Rolle.
Die Kullback-Leibler-Divergenz (KL-Divergenz), auch relative Entropie genannt, misst, wie viele zusätzliche Informationen im Durchschnitt benötigt werden, um Ergebnisse aus einer Wahrscheinlichkeitsverteilung mit einem Code zu codieren, der für eine andere Verteilung ausgelegt ist. Im maschinellen Lernen misst sie die Kosten dafür, die Wahrscheinlichkeiten eines Modells anstelle einer Referenzverteilung zu verwenden. Die Reihenfolge spielt eine Rolle: Die erste Verteilung bestimmt, wie stark jedes Ergebnis gewichtet wird. Solomon Kullback und Richard A. Leibler führten das Maß 1951 in ihrer Arbeit On Information and Sufficiency ein.
So berechnest du die KL-Divergenz#
Bei diskreten Verteilungen P und Q ordnest du die Ergebnisse anhand ihrer Bezeichnungen oder Klassen einander zu. Teile für jedes Ergebnis seine Wahrscheinlichkeit in P durch seine Wahrscheinlichkeit in Q, bilde den Logarithmus und multipliziere ihn mit seiner Wahrscheinlichkeit in P. Addiere diese gewichteten Terme. In der Schreibweise D_KL(P || Q) ist P die Verteilung, die die Gewichtungen vorgibt. Verwende bei stetigen Verteilungen Wahrscheinlichkeitsdichten und integriere den gewichteten Logarithmus des Quotienten über den Ergebnisraum. Natürliche Logarithmen ergeben Nats; Logarithmen zur Basis 2 ergeben Bits.
Für P = (0.8, 0.2) und Q = (0.5, 0.5) lauten die Terme 0.8 * ln(0.8 / 0.5) und 0.2 * ln(0.2 / 0.5). Zusammen ergeben sie 0.193 Nats. Vertauschst du P und Q, erhältst du 0.223 Nats. Einzelne Terme können negativ sein; die Summe ist immer nichtnegativ.
KL-Divergenz in Python#
Der in scikit-learn enthaltene Beispieldatensatz handgeschriebener Ziffern umfasst 1.797 beschriftete Bilder. Ein Vergleich der Klassenhäufigkeiten mit einer Gleichverteilung zeigt, wie stark die Stichprobe für die Bildklassifizierung von einer gleichmäßigen Klassenverteilung abweicht. Die Funktion entropy von SciPy normalisiert beide Eingaben und akzeptiert daher sowohl Klassenanzahlen als auch Wahrscheinlichkeiten.
import numpy as np
from scipy.stats import entropy
from sklearn.datasets import load_digits
digits = load_digits()
labels = digits.target
counts = np.bincount(labels, minlength=10)
uniform = np.full(10, 0.1)
# Use the observed label frequencies as the first distribution.
kl = entropy(counts, uniform)
print(f"KL(observed || uniform): {kl:.6f} nats")Das Ergebnis beträgt etwa 0.00011 Nats und spiegelt die ungefähr gleiche Anzahl von Bildern pro Ziffer wider.
So interpretierst du Werte der KL-Divergenz#
Null bedeutet, dass die Verteilungen übereinstimmen. Größere Werte zeigen eine stärkere Abweichung an, sofern Richtung, Einheiten und Ergebnisdefinitionen gleich bleiben. Bei der Modellüberwachung kann die KL-Divergenz Änderungen der vorhergesagten Klassenhäufigkeiten zwischen einem aktuellen Zeitfenster und einer Referenz erkennen. Es gibt keinen allgemeingültigen Schwellenwert für Warnmeldungen: Der Wert hängt von der Einteilung in Klassen und der Stichprobengröße ab. Eine Verschiebung der vorhergesagten Klassenhäufigkeiten kann eine Überprüfung auslösen; Leistungskennzahlen auf beschrifteten Daten quantifizieren einen möglichen Rückgang der Modellqualität.
Unendlich ergibt sich immer dann, wenn ein diskretes Ergebnis in P eine positive und in Q eine Wahrscheinlichkeit von null hat. Ein Ergebnis mit einer Wahrscheinlichkeit von null in P trägt nichts bei. In einem beobachteten Histogramm kann eine leere Klasse auf eine begrenzte Stichprobe zurückzuführen sein. Wenn du vor der Normalisierung jeder Klasse eine kleine Anzahl hinzufügst, erhältst du für die so geglätteten Verteilungen einen endlichen Wert. Die informelle Bezeichnung KL-Abstand meint dieselbe Größe, die asymmetrisch ist und die Dreiecksungleichung nicht erfüllt, die für einen mathematischen Abstand erforderlich ist.
Anwendungsbereiche der KL-Divergenz#
Bei der Wissensdestillation kann ein Schüler von der vollständigen Klassenverteilung des Lehrers lernen. Bei der Destillation mit weichen Zielwerten werden für beide Modelle Softmax-Wahrscheinlichkeiten verwendet, die mit einer Temperatur skaliert sind. Wenn die Lehrerverteilung bei der KL-Divergenz an erster Stelle steht, wird der Schüler dafür bestraft, Klassen, die der Lehrer für plausibel hält, eine zu geringe Wahrscheinlichkeit zuzuweisen. Ein variationaler Autoencoder verwendet die KL-Divergenz, um seine kodierte latente Verteilung auf einen gewählten Prior hin zu regularisieren, häufig auf eine Standardnormalverteilung.
Bei der Modellquantisierung nach dem Training vergleicht die Entropiekalibrierung Aktivierungshistogramme vor und nach einer simulierten INT8-Quantisierung. Sie wählt den Beschneidungsschwellenwert, der die niedrigste KL-Divergenz ergibt. Der Ultralytics-TensorRT-Exporter wählt die Entropiekalibrierung für INT8-Exporte von YOLO26 nach dem Training aus, die auf den Deep-Learning-Beschleuniger (DLA) von NVIDIA Jetson mit einer DLA-kompatiblen TensorRT-Version 7–10 abzielen.
KL-Divergenz im Vergleich zu Kreuzentropie und Jensen-Shannon-Divergenz#
Der Kreuzentropieverlust addiert die inhärente Unsicherheit von P zu den von der KL-Divergenz gemessenen Zusatzkosten. Wenn P feststeht, haben beide Verluste für Q dasselbe Optimum. Ist P ein One-Hot-Zielwert, beträgt seine Unsicherheit null; daher entsprechen beide Verluste dem negativen Logarithmus der Wahrscheinlichkeit, die Q der beschrifteten Klasse zuweist.
Die Jensen-Shannon-Divergenz mittelt zwei KL-Werte: einen von P zur mittleren Verteilung und einen von Q zu derselben mittleren Verteilung. Die mittlere Verteilung weist jedem Ergebnis, das in einer der beiden Verteilungen vorkommt, eine positive Wahrscheinlichkeit zu. Dadurch ist die Jensen-Shannon-Divergenz symmetrisch und hat einen Höchstwert von 1 Bit, der erreicht wird, wenn die Verteilungen keine gemeinsamen Ergebnisse haben.










