Kullback-Leibler Divergence (KL Divergence)
Kullback-Leibler 散度衡量两个概率分布之间的差异。在训练、漂移检测和 INT8 校准中,分布的顺序很重要。
Kullback-Leibler 散度(KL 散度),也称为相对熵,衡量使用为一个概率分布设计的编码,对来自另一个概率分布的结果进行编码时,平均需要多少额外信息。在机器学习中,它衡量用模型的概率代替参考分布所付出的代价。顺序很重要:第一个分布决定每种结果所占的权重。Solomon Kullback 和 Richard A. Leibler 在 1951 年的论文《论信息与充分性》中提出了这一度量。
如何计算 KL 散度#
对于离散分布 P 和 Q,按标签或区间匹配各个结果。对每个结果,用它在 P 中的概率除以在 Q 中的概率,取对数,再乘以它在 P 中的概率。将这些加权项相加。在记号 D_KL(P || Q) 中,P 是提供权重的分布。对于连续分布,使用概率密度,并在结果空间上对加权对数比值积分。使用自然对数时,单位为纳特;使用以 2 为底的对数时,单位为比特。
对于 P = (0.8, 0.2) 和 Q = (0.5, 0.5),各项为 0.8 * ln(0.8 / 0.5) 和 0.2 * ln(0.2 / 0.5)。它们相加为0.193 纳特。交换 P 和 Q 后,结果为0.223 纳特。单个项可能为负;总和始终非负。
Python 中的 KL 散度#
scikit-learn 附带的手写数字示例包含 1,797 张带标签的图像。将其标签频次与均匀分布进行比较,可以看出图像分类示例偏离类别均衡分布的程度。SciPy 的 entropy会对两个输入进行归一化,因此既接受类别计数,也接受概率。
import numpy as np
from scipy.stats import entropy
from sklearn.datasets import load_digits
digits = load_digits()
labels = digits.target
counts = np.bincount(labels, minlength=10)
uniform = np.full(10, 0.1)
# Use the observed label frequencies as the first distribution.
kl = entropy(counts, uniform)
print(f"KL(observed || uniform): {kl:.6f} nats")结果约为0.00011 纳特,这反映了每个数字对应的图像数量大致相同。
如何解读 KL 散度值#
零表示两个分布相同。在方向、单位和结果定义不变时,值越大表示差异越大。在模型监控中,KL 散度可用于标记实时窗口与基线之间预测类别频次的变化。没有通用的告警阈值:分数会随分箱方式和样本量而变化。预测类别频次的变化可以触发审查;对带标签数据计算的性能指标可以量化模型质量的下降程度。
只要某个离散结果在 P 中的概率为正、在 Q 中的概率为零,KL 散度就会是无穷大。在 P 中概率为零的结果不会产生贡献。在观测到的直方图中,空区间可能是采样有限造成的。归一化前给每个区间加上一个小计数,可以为平滑后的分布得到有限分数。非正式名称KL 距离指的是同一个量;它具有非对称性,且不满足数学距离所要求的三角不等式。
KL 散度的应用场景#
在知识蒸馏中,学生模型可以从教师模型的完整类别分布中学习。软目标蒸馏会对两个模型使用经过温度缩放的 softmax概率。计算 KL 散度时将教师模型放在前面,会惩罚学生模型对教师模型认为合理的类别赋予过低概率的情况。变分自编码器使用 KL 散度,将其编码的潜在分布向选定的先验分布(通常是标准正态分布)正则化。
在训练后模型量化中,熵校准会比较模拟 INT8 量化前后的激活直方图。熵校准会选择使 KL 散度最低的裁剪阈值。Ultralytics TensorRT 导出器会为面向 NVIDIA Jetson 上深度学习加速器 (DLA)、并使用兼容 DLA 的 TensorRT 7–10 版本的 YOLO26 INT8 训练后导出选择熵校准。
KL 散度与交叉熵、Jensen-Shannon 散度的比较#
交叉熵损失将 P 的固有不确定性加到 KL 散度所衡量的额外代价中。当 P 固定时,两种损失对 Q 的最优解相同。当 P 是 one-hot 目标时,其不确定性为零,因此两种损失都等于 Q 分配给带标签类别的概率的负对数。
Jensen-Shannon 散度对两个 KL 值取平均:一个是从 P 到中点分布的 KL 值,另一个是从 Q 到同一中点分布的 KL 值。中点分布会为任一分布中出现的每个结果赋予正概率。这使 Jensen-Shannon 散度具有对称性,且其最大值为1 比特;当两个分布没有共同结果时取到该最大值。










