YOLO 라이선스 받기
Ultralytics 용어집으로 돌아가기

Kullback-Leibler Divergence (KL Divergence)

쿨백-라이블러 발산은 두 확률 분포가 얼마나 다른지 측정합니다. 학습, 드리프트 감지, INT8 보정에서는 분포의 순서가 중요합니다.

쿨백-라이블러 발산(KL 발산)은 상대 엔트로피라고도 하며, 한 확률 분포에서 추출한 결과를 다른 분포에 맞게 설계된 코드로 인코딩할 때 평균적으로 얼마나 많은 정보가 추가로 필요한지를 측정합니다. 머신러닝에서는 기준 분포 대신 모델의 확률을 사용할 때 발생하는 비용을 측정합니다. 순서가 중요합니다. 첫 번째 분포가 각 결과에 부여되는 가중치를 결정합니다. 솔로몬 쿨백과 리처드 A. 라이블러는 1951년 논문 정보와 충분성에 관하여에서 이 측정값을 소개했습니다.

KL 발산 계산 방법#

이산 분포 P와 Q의 경우 라벨이나 구간을 기준으로 결과를 서로 대응시킵니다. 각 결과에 대해 P에서의 확률을 Q에서의 확률로 나누고, 로그를 취한 다음 P에서의 확률을 곱합니다. 이렇게 가중된 항을 모두 더합니다. 표기법 D_KL(P || Q)에서 P는 가중치를 제공하는 분포입니다. 연속 분포의 경우 확률 밀도를 사용하고 결과 공간 전체에서 가중 로그 비율을 적분합니다. 자연 로그를 사용하면 나트가 되고, 밑이 2인 로그를 사용하면 비트가 됩니다.

P = (0.8, 0.2), Q = (0.5, 0.5)일 때 각 항은 0.8 * ln(0.8 / 0.5) 및 0.2 * ln(0.2 / 0.5)입니다. 이 항을 더하면 0.193 나트가 됩니다. P와 Q의 순서를 바꾸면 0.223 나트가 됩니다. 개별 항은 음수일 수 있지만, 합은 항상 음수가 아닙니다.

Python에서의 KL 발산#

scikit-learn에 포함된 손글씨 숫자 샘플에는 라벨이 지정된 이미지 1,797개가 있습니다. 이 샘플의 라벨 빈도를 균등 분포와 비교하면 이미지 분류 샘플의 클래스 균형이 얼마나 균등 분포에서 벗어나는지 확인할 수 있습니다. SciPy의 entropy는 두 입력을 모두 정규화하므로 클래스 개수와 확률을 모두 입력으로 받을 수 있습니다.

import numpy as np
from scipy.stats import entropy
from sklearn.datasets import load_digits

digits = load_digits()
labels = digits.target
counts = np.bincount(labels, minlength=10)
uniform = np.full(10, 0.1)

# Use the observed label frequencies as the first distribution.
kl = entropy(counts, uniform)
print(f"KL(observed || uniform): {kl:.6f} nats")

결과는 약 0.00011 나트이며, 숫자별 이미지 수가 대체로 비슷하다는 점을 반영합니다.

KL 발산 값 해석 방법#

0은 분포가 일치함을 의미합니다. 방향, 단위, 결과 정의가 동일할 때 값이 클수록 불일치가 커집니다. 모델 모니터링에서 KL 발산은 실시간 구간과 기준 구간 사이의 예측 클래스 빈도 변화를 감지할 수 있습니다. 보편적인 알림 임계값은 없습니다. 점수는 구간화 방식과 샘플 크기에 따라 달라집니다. 예측 클래스 빈도의 변화는 검토를 유발할 수 있으며, 라벨이 지정된 데이터의 성능 지표는 모델 품질 저하 여부를 정량화합니다.

이산 결과가 P에서 양의 확률을 갖고 Q에서는 확률이 0일 때마다 무한대가 됩니다. P에서 확률이 0인 결과는 아무것도 기여하지 않습니다. 관측된 히스토그램에서 빈 구간은 표본 수가 제한적임을 나타낼 수 있습니다. 정규화하기 전에 모든 구간에 작은 개수를 더하면 스무딩된 분포의 유한한 점수를 얻을 수 있습니다. 비공식적으로 KL 거리라고도 하지만, 이 값은 비대칭이며 수학적 거리의 조건인 삼각 부등식을 만족하지 않습니다.

KL 발산의 활용 분야#

지식 증류에서는 학생 모델이 교사의 전체 클래스 분포를 학습할 수 있습니다. 소프트 타깃 증류는 두 모델 모두에 온도 조정된 소프트맥스 확률을 사용합니다. KL 발산에서 교사 모델을 첫 번째 분포로 두면, 교사가 그럴듯하다고 판단하는 클래스에 학생 모델이 지나치게 낮은 확률을 부여할 때 페널티가 적용됩니다. 변분 오토인코더는 KL 발산을 사용해 인코딩된 잠재 분포가 선택한 사전 분포를 따르도록 정규화합니다. 사전 분포로는 표준 정규 분포를 자주 사용합니다.

학습 후 모델 양자화에서는 엔트로피 보정을 통해 시뮬레이션된 INT8 양자화 전후의 활성화 히스토그램을 비교합니다. 이 방법은 KL 발산이 가장 낮아지는 클리핑 임계값을 선택합니다. Ultralytics TensorRT 익스포터는 DLA 호환 TensorRT 7–10 릴리스를 사용하는 NVIDIA Jetson의 딥러닝 가속기(DLA)를 대상으로 하는 YOLO26 INT8 학습 후 익스포트에 엔트로피 보정을 선택합니다.

KL 발산과 교차 엔트로피 및 Jensen-Shannon 발산 비교#

교차 엔트로피 손실은 KL 발산으로 측정되는 추가 비용에 P의 내재적 불확실성을 더합니다. P가 고정되어 있으면 두 손실 함수는 Q에 대해 동일한 최적점을 갖습니다. P가 원-핫 타깃이면 불확실성이 0이므로 두 손실 함수는 라벨이 지정된 클래스에 Q가 부여하는 확률의 음의 로그와 같습니다.

Jensen-Shannon 발산은 두 KL 값을 평균합니다. 하나는 P에서 중간 분포로의 값이고, 다른 하나는 Q에서 같은 중간 분포로의 값입니다. 중간 분포는 두 분포 중 하나에라도 나타나는 모든 결과에 양의 확률을 부여합니다. 따라서 Jensen-Shannon 발산은 대칭이며, 두 분포에 공통 결과가 없을 때 도달하는 1비트를 최댓값으로 갖습니다.

솔루션 살펴보기

스포츠 분야의 컴퓨터 비전

스포츠 분야의 컴퓨터 비전

Ultralytics YOLO가 선수 및 공 추적, 경기력 분석, 코칭 인사이트, 선수 재활을 통해 스포츠 비전을 구현하는 방법을 알아보세요.
자세히 알아보기
항공 이미지 컴퓨터 비전

항공 이미지 컴퓨터 비전

Ultralytics YOLO를 활용해 드론 및 항공 이미지를 농업, 양식업, 보전, 지리 공간 분석을 위한 실시간 인사이트로 전환하세요.
자세히 알아보기
항공우주 분야의 컴퓨터 비전

항공우주 분야의 컴퓨터 비전

Ultralytics YOLO를 활용해 항공기 검사, 활주로 FOD 감지, 공항 지상 운영, 복합재 결함 감지 등 항공우주 분야에 컴퓨터 비전을 적용하세요.
자세히 알아보기
보안 분야의 컴퓨터 비전

보안 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 모든 시설을 보호하세요. Vision AI는 경계 모니터링, 위협 감지, 번호판 인식, 작업장 안전을 지원합니다.
자세히 알아보기
로보틱스 분야의 컴퓨터 비전

로보틱스 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 더 스마트한 머신을 구현하세요. 로보틱스 분야의 Vision AI는 자율 주행, 인식, 객체 추적, 실시간 제어를 지원합니다.
자세히 알아보기
물류 분야의 컴퓨터 비전

물류 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 물류를 간소화하세요. 비전 AI는 화물 검사, 분류, 차량 추적, 실시간 창고 안전 모니터링을 지원합니다.
자세히 알아보기
리테일 분야의 컴퓨터 비전

리테일 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 리테일의 새로운 가능성을 열어 보세요. 비전 AI는 재고 추적, 선반 모니터링, 대기열 관리, 더욱 심층적인 고객 인사이트를 지원합니다.
자세히 알아보기
의료 분야의 컴퓨터 비전

의료 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 의료 솔루션을 구축하세요. 의료 분야의 비전 AI는 의료 영상 판독을 가속화하고, 진단을 개선하며, 환자 모니터링을 지원합니다.
자세히 알아보기
제조 분야의 컴퓨터 비전

제조 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 제조 공정을 최적화하세요. 비전 AI는 품질 관리, 결함 탐지, PPE 규정 준수, 조립 라인 자동화를 지원합니다.
자세히 알아보기
자동차 분야의 컴퓨터 비전

자동차 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 자동차 분야에 컴퓨터 비전을 적용하세요. 비전 AI는 도로 안전, 운전자 지원, 차량 자동화를 개선해 더 스마트한 도로를 구현합니다.
자세히 알아보기
농업 분야의 컴퓨터 비전

농업 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 스마트 농업에 비전 AI를 도입하세요. 작물 모니터링, 가축 추적, 정밀 농업을 지원하여 더 높은 수확량과 더 스마트한 농업을 실현합니다.
자세히 알아보기

함께 AI의 미래를 만들어 가세요!

머신러닝의 미래와 함께 여정을 시작하세요