YOLOのライセンス
Ultralytics用語集に戻る

Kullback-Leibler Divergence (KL Divergence)

Kullback-Leiblerダイバージェンスは、2つの確率分布の違いを測定します。学習、ドリフト検出、INT8キャリブレーションでは、分布の順序が重要です。

Kullback-Leiblerダイバージェンス(KLダイバージェンス)は、相対エントロピーとも呼ばれ、ある確率分布から抽出された結果を、別の確率分布向けに設計されたコードで符号化する際に、平均してどれだけ余分な情報が必要になるかを測定します。機械学習では、参照分布の代わりにモデルの確率を使用するコストを測定します。順序が重要です。最初の分布によって、各結果に与える重みが決まります。Solomon KullbackとRichard A. Leiblerは、1951年の論文情報と十分性についてでこの尺度を導入しました。

KLダイバージェンスの計算方法#

離散分布PとQでは、ラベルまたはビンごとに結果を対応させます。各結果について、Pにおける確率をQにおける確率で割り、その対数を取り、Pにおける確率を掛けます。これらの重み付き項を合計します。表記D_KL(P || Q)では、Pが重みを与える分布です。連続分布では、確率密度を使い、結果空間全体にわたって重み付き対数比を積分します。自然対数を使うとナットになり、底が2の対数を使うとビットになります。

P = (0.8, 0.2)、Q = (0.5, 0.5)の場合、各項は0.8 * ln(0.8 / 0.5)と0.2 * ln(0.2 / 0.5)です。これらを足すと0.193ナットになります。PとQを入れ替えると、0.223ナットになります。個々の項は負になることがありますが、合計は常に非負です。

PythonでのKLダイバージェンス#

scikit-learnに含まれる手書き数字のサンプルには、ラベル付き画像が1,797枚あります。このサンプルのラベル頻度を一様分布と比較すると、画像分類のサンプルがクラス均衡からどの程度外れているかがわかります。SciPyのentropyは両方の入力を正規化するため、クラス数と確率のどちらも受け付けます。

import numpy as np
from scipy.stats import entropy
from sklearn.datasets import load_digits

digits = load_digits()
labels = digits.target
counts = np.bincount(labels, minlength=10)
uniform = np.full(10, 0.1)

# Use the observed label frequencies as the first distribution.
kl = entropy(counts, uniform)
print(f"KL(observed || uniform): {kl:.6f} nats")

結果は約0.00011ナットで、各数字の画像数がおおむね等しいことを示しています。

KLダイバージェンス値の解釈方法#

ゼロは分布が一致していることを意味します。方向、単位、結果の定義が同じであれば、値が大きいほど不一致が大きいことを示します。モデルモニタリングでは、KLダイバージェンスを使って、ライブウィンドウとベースラインの間で予測クラス頻度の変化を検出できます。普遍的なアラートしきい値はありません。スコアはビニングとサンプル数によって変わります。予測クラス頻度の変化をきっかけにレビューを行い、ラベル付きデータの性能指標でモデル品質の低下を定量化できます。

離散的な結果について、Pでの確率が正でQでの確率がゼロの場合、無限大になります。Pでの確率がゼロの結果は寄与しません。観測されたヒストグラムでビンが空の場合、サンプリング数が限られている可能性があります。正規化の前にすべてのビンへ少量の度数を加えると、平滑化された分布のスコアは有限になります。慣例的な名称であるKL距離は同じ量を指しますが、これは非対称であり、数学的な距離に必要な三角不等式を満たしません。

KLダイバージェンスの用途#

知識蒸留では、学生モデルが教師モデルのクラス分布全体から学習できます。ソフトターゲット蒸留では、両方のモデルに温度スケーリングしたsoftmax確率を使用します。KLダイバージェンスで教師モデルを先に置くと、教師モデルが妥当とみなすクラスに対して学生モデルが与える確率が低すぎる場合にペナルティが課されます。変分オートエンコーダは、KLダイバージェンスを使って、エンコードされた潜在分布を選択した事前分布(多くの場合は標準正規分布)へ正則化します。

学習後のモデル量子化では、エントロピーキャリブレーションによって、シミュレーションしたINT8量子化の前後で活性化ヒストグラムを比較します。KLダイバージェンスが最小になるクリッピングしきい値を選択します。Ultralytics TensorRTエクスポーターは、NVIDIA Jetsonのディープラーニングアクセラレーター(DLA)を対象とし、DLA互換のTensorRT 7~10リリースを使用するYOLO26のINT8学習後エクスポートに、エントロピーキャリブレーションを選択します。

KLダイバージェンスとクロスエントロピー、Jensen-Shannonダイバージェンスの比較#

クロスエントロピー損失は、Pが本来持つ不確実性を、KLダイバージェンスが測定する追加コストに加えたものです。Pが固定されている場合、Qに対する両方の損失は同じ最適値になります。Pがワンホットターゲットの場合、不確実性はゼロとなるため、両方の損失は、ラベル付けされたクラスにQが割り当てる確率の負の対数に等しくなります。

Jensen-Shannonダイバージェンスは、Pから中間分布へのKL値と、Qから同じ中間分布へのKL値の2つを平均します。中間分布は、いずれかの分布に現れるすべての結果に正の確率を割り当てます。そのため、Jensen-Shannonダイバージェンスは対称になり、2つの分布に共通する結果がない場合に最大値の1ビットになります。

ソリューションを見る

スポーツにおけるコンピュータービジョン

スポーツにおけるコンピュータービジョン

Ultralytics YOLOが、選手やボールの追跡、パフォーマンス分析、コーチングへの知見、アスリートのリハビリを通じて、スポーツビジョンをどのように支えるかをご紹介します。
詳しく見る
航空画像向けコンピュータービジョン

航空画像向けコンピュータービジョン

Ultralytics YOLOを使用して、ドローンや航空画像をリアルタイムの知見に変換し、農業、水産養殖、自然保護、地理空間分析に活用できます。
詳しく見る
航空宇宙分野のコンピュータービジョン

航空宇宙分野のコンピュータービジョン

Ultralytics YOLOを活用して航空宇宙分野でコンピュータビジョンを導入し、航空機検査、滑走路上のFOD検出、空港の地上業務、複合材の欠陥検出に活用できます。
詳しく見る
セキュリティ分野のコンピュータービジョン

セキュリティ分野のコンピュータービジョン

Ultralytics YOLOモデルであらゆる施設を保護しましょう。ビジョンAIは、周辺監視、脅威検知、ナンバープレート認識、職場の安全管理を支援します。
詳しく見る
ロボティクス分野のコンピュータービジョン

ロボティクス分野のコンピュータービジョン

Ultralytics YOLOモデルで、よりスマートなマシンを実現しましょう。ロボティクスにおけるビジョンAIは、自律ナビゲーション、認識、物体追跡、リアルタイム制御を支援します。
詳しく見る
物流におけるコンピュータービジョン

物流におけるコンピュータービジョン

Ultralytics YOLOモデルで物流を効率化しましょう。ビジョンAIにより、荷物検査、仕分け、車両追跡、倉庫のリアルタイム安全監視を実現します。
詳しく見る
小売業におけるコンピュータービジョン

小売業におけるコンピュータービジョン

Ultralytics YOLOモデルで小売のあり方を変革しましょう。ビジョンAIにより、在庫追跡、棚の監視、行列管理、より高度な顧客インサイトを実現します。
詳しく見る
医療分野におけるコンピュータービジョン

医療分野におけるコンピュータービジョン

Ultralytics YOLOモデルで医療ソリューションを構築しましょう。医療分野のビジョンAIは、医用画像処理の高速化、より高度な診断、患者モニタリングを実現します。
詳しく見る
製造業におけるコンピュータービジョン

製造業におけるコンピュータービジョン

Ultralytics YOLOモデルで製造を最適化しましょう。ビジョンAIは、品質管理、欠陥検出、PPE準拠、組立ラインの自動化を推進します。
詳しく見る
自動車分野におけるコンピュータービジョン

自動車分野におけるコンピュータービジョン

Ultralytics YOLOモデルで自動車分野にコンピュータービジョンを導入しましょう。ビジョンAIは、道路の安全性、運転支援、車両の自動化を向上させ、よりスマートな道路を実現します。
詳しく見る
農業におけるコンピュータービジョン

農業におけるコンピュータービジョン

Ultralytics YOLOモデルでスマート農業にビジョンAIを導入しましょう。作物のモニタリング、家畜の追跡、精密農業を支援し、より高く効率的な収量を実現します。
詳しく見る

AIの未来を一緒に築きましょう!

機械学習の未来に向けた歩みを始めましょう