获取 YOLO 许可
返回 Ultralytics 术语表

Kullback-Leibler Divergence (KL Divergence)

Kullback-Leibler 散度衡量两个概率分布之间的差异。在训练、漂移检测和 INT8 校准中,分布的顺序很重要。

Kullback-Leibler 散度(KL 散度),也称为相对熵,衡量使用为一个概率分布设计的编码,对来自另一个概率分布的结果进行编码时,平均需要多少额外信息。在机器学习中,它衡量用模型的概率代替参考分布所付出的代价。顺序很重要:第一个分布决定每种结果所占的权重。Solomon Kullback 和 Richard A. Leibler 在 1951 年的论文《论信息与充分性》中提出了这一度量。

如何计算 KL 散度#

对于离散分布 P 和 Q,按标签或区间匹配各个结果。对每个结果,用它在 P 中的概率除以在 Q 中的概率,取对数,再乘以它在 P 中的概率。将这些加权项相加。在记号 D_KL(P || Q) 中,P 是提供权重的分布。对于连续分布,使用概率密度,并在结果空间上对加权对数比值积分。使用自然对数时,单位为纳特;使用以 2 为底的对数时,单位为比特。

对于 P = (0.8, 0.2) 和 Q = (0.5, 0.5),各项为 0.8 * ln(0.8 / 0.5) 和 0.2 * ln(0.2 / 0.5)。它们相加为0.193 纳特。交换 P 和 Q 后,结果为0.223 纳特。单个项可能为负;总和始终非负。

Python 中的 KL 散度#

scikit-learn 附带的手写数字示例包含 1,797 张带标签的图像。将其标签频次与均匀分布进行比较,可以看出图像分类示例偏离类别均衡分布的程度。SciPy 的 entropy会对两个输入进行归一化,因此既接受类别计数,也接受概率。

import numpy as np
from scipy.stats import entropy
from sklearn.datasets import load_digits

digits = load_digits()
labels = digits.target
counts = np.bincount(labels, minlength=10)
uniform = np.full(10, 0.1)

# Use the observed label frequencies as the first distribution.
kl = entropy(counts, uniform)
print(f"KL(observed || uniform): {kl:.6f} nats")

结果约为0.00011 纳特,这反映了每个数字对应的图像数量大致相同。

如何解读 KL 散度值#

零表示两个分布相同。在方向、单位和结果定义不变时,值越大表示差异越大。在模型监控中,KL 散度可用于标记实时窗口与基线之间预测类别频次的变化。没有通用的告警阈值:分数会随分箱方式和样本量而变化。预测类别频次的变化可以触发审查;对带标签数据计算的性能指标可以量化模型质量的下降程度。

只要某个离散结果在 P 中的概率为正、在 Q 中的概率为零,KL 散度就会是无穷大。在 P 中概率为零的结果不会产生贡献。在观测到的直方图中,空区间可能是采样有限造成的。归一化前给每个区间加上一个小计数,可以为平滑后的分布得到有限分数。非正式名称KL 距离指的是同一个量;它具有非对称性,且不满足数学距离所要求的三角不等式。

KL 散度的应用场景#

在知识蒸馏中,学生模型可以从教师模型的完整类别分布中学习。软目标蒸馏会对两个模型使用经过温度缩放的 softmax概率。计算 KL 散度时将教师模型放在前面,会惩罚学生模型对教师模型认为合理的类别赋予过低概率的情况。变分自编码器使用 KL 散度,将其编码的潜在分布向选定的先验分布(通常是标准正态分布)正则化。

在训练后模型量化中,熵校准会比较模拟 INT8 量化前后的激活直方图。熵校准会选择使 KL 散度最低的裁剪阈值。Ultralytics TensorRT 导出器会为面向 NVIDIA Jetson 上深度学习加速器 (DLA)、并使用兼容 DLA 的 TensorRT 7–10 版本的 YOLO26 INT8 训练后导出选择熵校准。

KL 散度与交叉熵、Jensen-Shannon 散度的比较#

交叉熵损失将 P 的固有不确定性加到 KL 散度所衡量的额外代价中。当 P 固定时,两种损失对 Q 的最优解相同。当 P 是 one-hot 目标时,其不确定性为零,因此两种损失都等于 Q 分配给带标签类别的概率的负对数。

Jensen-Shannon 散度对两个 KL 值取平均:一个是从 P 到中点分布的 KL 值,另一个是从 Q 到同一中点分布的 KL 值。中点分布会为任一分布中出现的每个结果赋予正概率。这使 Jensen-Shannon 散度具有对称性,且其最大值为1 比特;当两个分布没有共同结果时取到该最大值。

探索解决方案

体育领域的计算机视觉

体育领域的计算机视觉

了解 Ultralytics YOLO 如何通过球员和球追踪、表现分析、教练洞察及运动员康复,推动体育视觉技术的发展。
了解详情
航空影像计算机视觉

航空影像计算机视觉

使用 Ultralytics YOLO 将无人机和航空影像转化为农业、水产养殖、保护工作和地理空间分析的实时洞察。
了解详情
航空航天中的计算机视觉

航空航天中的计算机视觉

使用 Ultralytics YOLO 将计算机视觉应用于航空航天领域,包括飞机检查、跑道 FOD 检测、机场地面作业和复合材料缺陷检测。
了解详情
安防领域的计算机视觉

安防领域的计算机视觉

使用 Ultralytics YOLO 模型守护每个场所。视觉 AI 可用于周界监控、威胁检测、车牌识别和工作场所安全。
了解详情
机器人领域的计算机视觉

机器人领域的计算机视觉

使用 Ultralytics YOLO 模型提升智能机器的能力。机器人领域的视觉 AI 可用于自主导航、感知、目标跟踪和实时控制。
了解详情
物流中的计算机视觉

物流中的计算机视觉

借助 Ultralytics YOLO 模型优化物流流程。视觉 AI 可用于包裹检查、分拣、车辆跟踪和仓库安全实时监控。
了解详情
零售中的计算机视觉

零售中的计算机视觉

借助 Ultralytics YOLO 模型重新构想零售。视觉 AI 可用于库存跟踪、货架监控、排队管理和更深入的客户洞察。
了解详情
医疗领域的计算机视觉

医疗领域的计算机视觉

借助 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可加快医学影像处理、优化诊断并监测患者。
了解详情
制造业中的计算机视觉

制造业中的计算机视觉

利用 Ultralytics YOLO 模型优化制造流程。视觉 AI 可用于质量控制、缺陷检测、个人防护装备合规检查和装配线自动化。
了解详情
汽车领域的计算机视觉

汽车领域的计算机视觉

利用 Ultralytics YOLO 模型在汽车领域应用计算机视觉。视觉 AI 可提升道路安全、驾驶辅助和车辆自动化水平,让道路更智能。
了解详情
农业中的计算机视觉

农业中的计算机视觉

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。为作物监测、牲畜追踪和精准农业提供支持,从而提高产量并实现更智能的生产。
了解详情

让我们携手构建 AI 的未来!

开启你的旅程,迎接机器学习的未来