Kullback-Leibler Divergence (KL Divergence)
La divergence de Kullback-Leibler mesure l'écart entre deux distributions de probabilité. L'ordre compte pour l'entraînement, la détection de dérive et l'étalonnage INT8.
La divergence de Kullback-Leibler (divergence KL), également appelée entropie relative, mesure la quantité d'informations supplémentaires nécessaire, en moyenne, pour encoder des résultats tirés d'une distribution de probabilité à l'aide d'un code conçu pour une autre. En apprentissage automatique, elle mesure le coût de l'utilisation des probabilités d'un modèle à la place d'une distribution de référence. L'ordre compte : la première distribution détermine le poids accordé à chaque résultat. Solomon Kullback et Richard A. Leibler ont présenté cette mesure dans leur article de 1951 On Information and Sufficiency.
Comment calculer la divergence KL#
Pour des distributions discrètes P et Q, fais correspondre les résultats par étiquette ou par intervalle. Pour chaque résultat, divise sa probabilité dans P par sa probabilité dans Q, prends le logarithme, puis multiplie par sa probabilité dans P. Additionne ces termes pondérés. Dans la notation D_KL(P || Q), P est la distribution qui fournit les poids. Pour les distributions continues, utilise les densités de probabilité et intègre le rapport logarithmique pondéré sur l'espace des résultats. Les logarithmes naturels donnent des nats ; ceux en base 2 donnent des bits.
Pour P = (0.8, 0.2) et Q = (0.5, 0.5), les termes sont 0.8 * ln(0.8 / 0.5) et 0.2 * ln(0.2 / 0.5). Leur somme est de 0.193 nats. En inversant P et Q, on obtient 0.223 nats. Certains termes peuvent être négatifs ; la somme est toujours non négative.
La divergence KL en Python#
L'échantillon d'images manuscrites fourni avec scikit-learn contient 1 797 images étiquetées. La comparaison de la fréquence des étiquettes avec une distribution uniforme montre dans quelle mesure l'échantillon de classification d'images s'écarte d'un équilibre égal entre les classes. entropy de SciPy normalise les deux entrées ; il accepte donc aussi bien des nombres d'exemples que des probabilités.
import numpy as np
from scipy.stats import entropy
from sklearn.datasets import load_digits
digits = load_digits()
labels = digits.target
counts = np.bincount(labels, minlength=10)
uniform = np.full(10, 0.1)
# Use the observed label frequencies as the first distribution.
kl = entropy(counts, uniform)
print(f"KL(observed || uniform): {kl:.6f} nats")Le résultat est d'environ 0.00011 nats, ce qui reflète le nombre à peu près égal d'images pour chaque chiffre.
Comment interpréter les valeurs de divergence KL#
Zéro signifie que les distributions correspondent. Des valeurs plus élevées indiquent un écart plus important si la direction, les unités et les définitions des résultats restent identiques. Dans le suivi des modèles, la divergence KL peut signaler des changements dans la fréquence des classes prédites entre une fenêtre en production et une référence. Il n'existe pas de seuil d'alerte universel : le score varie en fonction du découpage en intervalles et de la taille de l'échantillon. Un changement dans la fréquence des classes prédites peut déclencher une vérification ; les métriques de performance calculées sur des données étiquetées quantifient toute baisse de la qualité du modèle.
L'infini survient dès qu'un résultat discret a une probabilité positive dans P et une probabilité nulle dans Q. Un résultat dont la probabilité est nulle dans P ne contribue pas au calcul. Dans un histogramme observé, un intervalle vide peut s'expliquer par un échantillonnage limité. Ajouter un petit nombre à chaque intervalle avant la normalisation donne un score fini pour les distributions lissées ainsi obtenues. L'appellation informelle distance KL désigne la même quantité, qui est asymétrique et ne satisfait pas l'inégalité triangulaire requise pour une distance mathématique.
Utilisations de la divergence KL#
Dans la distillation des connaissances, un modèle étudiant peut apprendre à partir de la distribution complète des classes du modèle enseignant. La distillation à cibles souples utilise les probabilités de softmax ajustées par la température pour les deux modèles. Placer le modèle enseignant en premier dans la divergence KL pénalise le modèle étudiant lorsqu'il attribue une probabilité trop faible aux classes que le modèle enseignant juge plausibles. Un autoencodeur variationnel utilise la divergence KL pour régulariser sa distribution latente encodée en direction d'un a priori choisi, souvent une distribution normale standard.
Lors de la quantification de modèle après entraînement, l'étalonnage par entropie compare les histogrammes d'activations avant et après une quantification INT8 simulée. Il sélectionne le seuil d'écrêtage qui produit la divergence KL la plus faible. L'exportateur TensorRT d'Ultralytics sélectionne l'étalonnage par entropie pour les exportations INT8 après entraînement de YOLO26 ciblant l'accélérateur d'apprentissage profond (DLA) sur NVIDIA Jetson avec une version de TensorRT 7–10 compatible avec le DLA.
Divergence KL, entropie croisée et divergence de Jensen-Shannon#
La perte d'entropie croisée ajoute l'incertitude inhérente à P au coût supplémentaire mesuré par la divergence KL. Lorsque P est fixe, les deux pertes ont le même optimum pour Q. Lorsque P est une cible one-hot, son incertitude est nulle ; les deux pertes sont donc égales au logarithme négatif de la probabilité que Q attribue à la classe étiquetée.
La divergence de Jensen-Shannon fait la moyenne de deux valeurs KL : l'une de P vers la distribution médiane et l'autre de Q vers cette même distribution médiane. La distribution médiane attribue une probabilité positive à chaque résultat présent dans l'une ou l'autre des distributions. La divergence de Jensen-Shannon est ainsi symétrique et atteint un maximum de 1 bit, lorsque les distributions n'ont aucun résultat en commun.










