Kullback-Leibler Divergence (KL Divergence)
Kullback-Leiblerダイバージェンスは、2つの確率分布の違いを測定します。学習、ドリフト検出、INT8キャリブレーションでは、分布の順序が重要です。
Kullback-Leiblerダイバージェンス(KLダイバージェンス)は、相対エントロピーとも呼ばれ、ある確率分布から抽出された結果を、別の確率分布向けに設計されたコードで符号化する際に、平均してどれだけ余分な情報が必要になるかを測定します。機械学習では、参照分布の代わりにモデルの確率を使用するコストを測定します。順序が重要です。最初の分布によって、各結果に与える重みが決まります。Solomon KullbackとRichard A. Leiblerは、1951年の論文情報と十分性についてでこの尺度を導入しました。
KLダイバージェンスの計算方法#
離散分布PとQでは、ラベルまたはビンごとに結果を対応させます。各結果について、Pにおける確率をQにおける確率で割り、その対数を取り、Pにおける確率を掛けます。これらの重み付き項を合計します。表記D_KL(P || Q)では、Pが重みを与える分布です。連続分布では、確率密度を使い、結果空間全体にわたって重み付き対数比を積分します。自然対数を使うとナットになり、底が2の対数を使うとビットになります。
P = (0.8, 0.2)、Q = (0.5, 0.5)の場合、各項は0.8 * ln(0.8 / 0.5)と0.2 * ln(0.2 / 0.5)です。これらを足すと0.193ナットになります。PとQを入れ替えると、0.223ナットになります。個々の項は負になることがありますが、合計は常に非負です。
PythonでのKLダイバージェンス#
scikit-learnに含まれる手書き数字のサンプルには、ラベル付き画像が1,797枚あります。このサンプルのラベル頻度を一様分布と比較すると、画像分類のサンプルがクラス均衡からどの程度外れているかがわかります。SciPyのentropyは両方の入力を正規化するため、クラス数と確率のどちらも受け付けます。
import numpy as np
from scipy.stats import entropy
from sklearn.datasets import load_digits
digits = load_digits()
labels = digits.target
counts = np.bincount(labels, minlength=10)
uniform = np.full(10, 0.1)
# Use the observed label frequencies as the first distribution.
kl = entropy(counts, uniform)
print(f"KL(observed || uniform): {kl:.6f} nats")結果は約0.00011ナットで、各数字の画像数がおおむね等しいことを示しています。
KLダイバージェンス値の解釈方法#
ゼロは分布が一致していることを意味します。方向、単位、結果の定義が同じであれば、値が大きいほど不一致が大きいことを示します。モデルモニタリングでは、KLダイバージェンスを使って、ライブウィンドウとベースラインの間で予測クラス頻度の変化を検出できます。普遍的なアラートしきい値はありません。スコアはビニングとサンプル数によって変わります。予測クラス頻度の変化をきっかけにレビューを行い、ラベル付きデータの性能指標でモデル品質の低下を定量化できます。
離散的な結果について、Pでの確率が正でQでの確率がゼロの場合、無限大になります。Pでの確率がゼロの結果は寄与しません。観測されたヒストグラムでビンが空の場合、サンプリング数が限られている可能性があります。正規化の前にすべてのビンへ少量の度数を加えると、平滑化された分布のスコアは有限になります。慣例的な名称であるKL距離は同じ量を指しますが、これは非対称であり、数学的な距離に必要な三角不等式を満たしません。
KLダイバージェンスの用途#
知識蒸留では、学生モデルが教師モデルのクラス分布全体から学習できます。ソフトターゲット蒸留では、両方のモデルに温度スケーリングしたsoftmax確率を使用します。KLダイバージェンスで教師モデルを先に置くと、教師モデルが妥当とみなすクラスに対して学生モデルが与える確率が低すぎる場合にペナルティが課されます。変分オートエンコーダは、KLダイバージェンスを使って、エンコードされた潜在分布を選択した事前分布(多くの場合は標準正規分布)へ正則化します。
学習後のモデル量子化では、エントロピーキャリブレーションによって、シミュレーションしたINT8量子化の前後で活性化ヒストグラムを比較します。KLダイバージェンスが最小になるクリッピングしきい値を選択します。Ultralytics TensorRTエクスポーターは、NVIDIA Jetsonのディープラーニングアクセラレーター(DLA)を対象とし、DLA互換のTensorRT 7~10リリースを使用するYOLO26のINT8学習後エクスポートに、エントロピーキャリブレーションを選択します。
KLダイバージェンスとクロスエントロピー、Jensen-Shannonダイバージェンスの比較#
クロスエントロピー損失は、Pが本来持つ不確実性を、KLダイバージェンスが測定する追加コストに加えたものです。Pが固定されている場合、Qに対する両方の損失は同じ最適値になります。Pがワンホットターゲットの場合、不確実性はゼロとなるため、両方の損失は、ラベル付けされたクラスにQが割り当てる確率の負の対数に等しくなります。
Jensen-Shannonダイバージェンスは、Pから中間分布へのKL値と、Qから同じ中間分布へのKL値の2つを平均します。中間分布は、いずれかの分布に現れるすべての結果に正の確率を割り当てます。そのため、Jensen-Shannonダイバージェンスは対称になり、2つの分布に共通する結果がない場合に最大値の1ビットになります。










