Kullback-Leibler Divergence (KL Divergence)
Дивергенция Кульбака — Лейблера показывает, насколько различаются два распределения вероятностей. Порядок имеет значение при обучении, обнаружении дрейфа и калибровке INT8.
Дивергенция Кульбака — Лейблера (KL-дивергенция), также называемая относительной энтропией, показывает, сколько дополнительной информации в среднем требуется, чтобы закодировать исходы из одного распределения вероятностей с помощью кода, созданного для другого. В машинном обучении она измеряет стоимость использования вероятностей модели вместо эталонного распределения. Порядок имеет значение: первое распределение определяет, какой вес получает каждый исход. Соломон Кульбак и Ричард А. Лейблер ввели эту меру в своей статье 1951 года Об информации и достаточности.
Как вычислить KL-дивергенцию#
Для дискретных распределений P и Q сопоставь исходы по метке или интервалу. Для каждого исхода раздели его вероятность в P на вероятность в Q, возьми логарифм и умножь на вероятность в P. Сложи полученные взвешенные слагаемые. В обозначении D_KL(P || Q) P — это распределение, задающее веса. Для непрерывных распределений используй плотности вероятности и интегрируй взвешенное отношение логарифмов по пространству исходов. Натуральные логарифмы дают наты, а логарифмы по основанию 2 — биты.
Для P = (0.8, 0.2) и Q = (0.5, 0.5) слагаемые равны 0.8 * ln(0.8 / 0.5) и 0.2 * ln(0.2 / 0.5). В сумме они дают 0.193 ната. Если поменять P и Q местами, получится 0.223 ната. Отдельные слагаемые могут быть отрицательными; сумма всегда неотрицательна.
KL-дивергенция в Python#
Выборка рукописных цифр, входящая в состав scikit-learn, содержит 1 797 размеченных изображений. Сравнение частот меток с равномерным распределением показывает, насколько выборка для классификации изображений отличается от равного распределения по классам. entropy из SciPy нормализует оба входных массива, поэтому принимает как количества объектов в классах, так и вероятности.
import numpy as np
from scipy.stats import entropy
from sklearn.datasets import load_digits
digits = load_digits()
labels = digits.target
counts = np.bincount(labels, minlength=10)
uniform = np.full(10, 0.1)
# Use the observed label frequencies as the first distribution.
kl = entropy(counts, uniform)
print(f"KL(observed || uniform): {kl:.6f} nats")Результат составляет примерно 0.00011 ната и отражает то, что число изображений для каждой цифры примерно одинаково.
Как интерпретировать значения KL-дивергенции#
Ноль означает, что распределения совпадают. Чем выше значение, тем больше расхождение, если направление, единицы измерения и определения исходов остаются неизменными. При мониторинге моделей KL-дивергенция может выявлять изменения частот предсказанных классов между текущим временным окном и базовым периодом. Универсального порога для оповещений нет: значение зависит от разбиения на интервалы и размера выборки. Сдвиг частот предсказанных классов может стать поводом для проверки; метрики качества на размеченных данных позволяют оценить любое снижение качества модели.
Бесконечность возникает, когда дискретный исход имеет положительную вероятность в P и нулевую вероятность в Q. Исход с нулевой вероятностью в P ничего не добавляет. В наблюдаемой гистограмме пустой интервал может быть следствием ограниченной выборки. Если добавить небольшое значение к количеству объектов в каждом интервале перед нормализацией, для полученных сглаженных распределений получится конечное значение. Неформальное название KL-расстояние обозначает ту же величину, которая несимметрична и не удовлетворяет неравенству треугольника, обязательному для математического расстояния.
Где применяют KL-дивергенцию#
При дистилляции знаний ученик может учиться на полном распределении классов учителя. При дистилляции по мягким целевым значениям для обеих моделей используют вероятности softmax, масштабированные температурой. Если в KL-дивергенции первым указать учителя, она штрафует ученика за слишком низкую вероятность классов, которые учитель считает правдоподобными. Вариационный автоэнкодер использует KL-дивергенцию, чтобы регуляризовать закодированное латентное распределение, приближая его к выбранному априорному распределению, часто к стандартному нормальному распределению.
При посттренировочной квантизации моделей энтропийная калибровка сравнивает гистограммы активаций до и после имитации квантизации INT8. Она выбирает порог отсечения, при котором KL-дивергенция минимальна. Экспортёр TensorRT от Ultralytics выбирает энтропийную калибровку для посттренировочного экспорта YOLO26 в INT8, если целевой процессор — ускоритель глубокого обучения (DLA) на NVIDIA Jetson с совместимым с DLA выпуском TensorRT 7–10.
KL-дивергенция, перекрёстная энтропия и дивергенция Йенсена — Шеннона#
Функция потерь на основе перекрёстной энтропии складывает собственную неопределённость P и дополнительные затраты, измеряемые KL-дивергенцией. Если P фиксировано, обе функции потерь достигают оптимума при одном и том же Q. Если P — целевое распределение с единичной вероятностью для одного класса, его неопределённость равна нулю, поэтому обе функции потерь равны отрицательному логарифму вероятности, которую Q присваивает размеченному классу.
Дивергенция Йенсена — Шеннона усредняет две величины KL: одну от P к промежуточному распределению, другую — от Q к тому же промежуточному распределению. Промежуточное распределение задаёт положительную вероятность каждому исходу, который встречается хотя бы в одном из двух распределений. Благодаря этому дивергенция Йенсена — Шеннона симметрична, а её максимальное значение равно 1 биту; оно достигается, когда у распределений нет общих исходов.










