Kullback-Leibler Divergence (KL Divergence)
쿨백-라이블러 발산은 두 확률 분포가 얼마나 다른지 측정합니다. 학습, 드리프트 감지, INT8 보정에서는 분포의 순서가 중요합니다.
쿨백-라이블러 발산(KL 발산)은 상대 엔트로피라고도 하며, 한 확률 분포에서 추출한 결과를 다른 분포에 맞게 설계된 코드로 인코딩할 때 평균적으로 얼마나 많은 정보가 추가로 필요한지를 측정합니다. 머신러닝에서는 기준 분포 대신 모델의 확률을 사용할 때 발생하는 비용을 측정합니다. 순서가 중요합니다. 첫 번째 분포가 각 결과에 부여되는 가중치를 결정합니다. 솔로몬 쿨백과 리처드 A. 라이블러는 1951년 논문 정보와 충분성에 관하여에서 이 측정값을 소개했습니다.
KL 발산 계산 방법#
이산 분포 P와 Q의 경우 라벨이나 구간을 기준으로 결과를 서로 대응시킵니다. 각 결과에 대해 P에서의 확률을 Q에서의 확률로 나누고, 로그를 취한 다음 P에서의 확률을 곱합니다. 이렇게 가중된 항을 모두 더합니다. 표기법 D_KL(P || Q)에서 P는 가중치를 제공하는 분포입니다. 연속 분포의 경우 확률 밀도를 사용하고 결과 공간 전체에서 가중 로그 비율을 적분합니다. 자연 로그를 사용하면 나트가 되고, 밑이 2인 로그를 사용하면 비트가 됩니다.
P = (0.8, 0.2), Q = (0.5, 0.5)일 때 각 항은 0.8 * ln(0.8 / 0.5) 및 0.2 * ln(0.2 / 0.5)입니다. 이 항을 더하면 0.193 나트가 됩니다. P와 Q의 순서를 바꾸면 0.223 나트가 됩니다. 개별 항은 음수일 수 있지만, 합은 항상 음수가 아닙니다.
Python에서의 KL 발산#
scikit-learn에 포함된 손글씨 숫자 샘플에는 라벨이 지정된 이미지 1,797개가 있습니다. 이 샘플의 라벨 빈도를 균등 분포와 비교하면 이미지 분류 샘플의 클래스 균형이 얼마나 균등 분포에서 벗어나는지 확인할 수 있습니다. SciPy의 entropy는 두 입력을 모두 정규화하므로 클래스 개수와 확률을 모두 입력으로 받을 수 있습니다.
import numpy as np
from scipy.stats import entropy
from sklearn.datasets import load_digits
digits = load_digits()
labels = digits.target
counts = np.bincount(labels, minlength=10)
uniform = np.full(10, 0.1)
# Use the observed label frequencies as the first distribution.
kl = entropy(counts, uniform)
print(f"KL(observed || uniform): {kl:.6f} nats")결과는 약 0.00011 나트이며, 숫자별 이미지 수가 대체로 비슷하다는 점을 반영합니다.
KL 발산 값 해석 방법#
0은 분포가 일치함을 의미합니다. 방향, 단위, 결과 정의가 동일할 때 값이 클수록 불일치가 커집니다. 모델 모니터링에서 KL 발산은 실시간 구간과 기준 구간 사이의 예측 클래스 빈도 변화를 감지할 수 있습니다. 보편적인 알림 임계값은 없습니다. 점수는 구간화 방식과 샘플 크기에 따라 달라집니다. 예측 클래스 빈도의 변화는 검토를 유발할 수 있으며, 라벨이 지정된 데이터의 성능 지표는 모델 품질 저하 여부를 정량화합니다.
이산 결과가 P에서 양의 확률을 갖고 Q에서는 확률이 0일 때마다 무한대가 됩니다. P에서 확률이 0인 결과는 아무것도 기여하지 않습니다. 관측된 히스토그램에서 빈 구간은 표본 수가 제한적임을 나타낼 수 있습니다. 정규화하기 전에 모든 구간에 작은 개수를 더하면 스무딩된 분포의 유한한 점수를 얻을 수 있습니다. 비공식적으로 KL 거리라고도 하지만, 이 값은 비대칭이며 수학적 거리의 조건인 삼각 부등식을 만족하지 않습니다.
KL 발산의 활용 분야#
지식 증류에서는 학생 모델이 교사의 전체 클래스 분포를 학습할 수 있습니다. 소프트 타깃 증류는 두 모델 모두에 온도 조정된 소프트맥스 확률을 사용합니다. KL 발산에서 교사 모델을 첫 번째 분포로 두면, 교사가 그럴듯하다고 판단하는 클래스에 학생 모델이 지나치게 낮은 확률을 부여할 때 페널티가 적용됩니다. 변분 오토인코더는 KL 발산을 사용해 인코딩된 잠재 분포가 선택한 사전 분포를 따르도록 정규화합니다. 사전 분포로는 표준 정규 분포를 자주 사용합니다.
학습 후 모델 양자화에서는 엔트로피 보정을 통해 시뮬레이션된 INT8 양자화 전후의 활성화 히스토그램을 비교합니다. 이 방법은 KL 발산이 가장 낮아지는 클리핑 임계값을 선택합니다. Ultralytics TensorRT 익스포터는 DLA 호환 TensorRT 7–10 릴리스를 사용하는 NVIDIA Jetson의 딥러닝 가속기(DLA)를 대상으로 하는 YOLO26 INT8 학습 후 익스포트에 엔트로피 보정을 선택합니다.
KL 발산과 교차 엔트로피 및 Jensen-Shannon 발산 비교#
교차 엔트로피 손실은 KL 발산으로 측정되는 추가 비용에 P의 내재적 불확실성을 더합니다. P가 고정되어 있으면 두 손실 함수는 Q에 대해 동일한 최적점을 갖습니다. P가 원-핫 타깃이면 불확실성이 0이므로 두 손실 함수는 라벨이 지정된 클래스에 Q가 부여하는 확률의 음의 로그와 같습니다.
Jensen-Shannon 발산은 두 KL 값을 평균합니다. 하나는 P에서 중간 분포로의 값이고, 다른 하나는 Q에서 같은 중간 분포로의 값입니다. 중간 분포는 두 분포 중 하나에라도 나타나는 모든 결과에 양의 확률을 부여합니다. 따라서 Jensen-Shannon 발산은 대칭이며, 두 분포에 공통 결과가 없을 때 도달하는 1비트를 최댓값으로 갖습니다.










