Лицензия YOLO
Назад к глоссарию Ultralytics

Kullback-Leibler Divergence (KL Divergence)

Дивергенция Кульбака — Лейблера показывает, насколько различаются два распределения вероятностей. Порядок имеет значение при обучении, обнаружении дрейфа и калибровке INT8.

Дивергенция Кульбака — Лейблера (KL-дивергенция), также называемая относительной энтропией, показывает, сколько дополнительной информации в среднем требуется, чтобы закодировать исходы из одного распределения вероятностей с помощью кода, созданного для другого. В машинном обучении она измеряет стоимость использования вероятностей модели вместо эталонного распределения. Порядок имеет значение: первое распределение определяет, какой вес получает каждый исход. Соломон Кульбак и Ричард А. Лейблер ввели эту меру в своей статье 1951 года Об информации и достаточности.

Как вычислить KL-дивергенцию#

Для дискретных распределений P и Q сопоставь исходы по метке или интервалу. Для каждого исхода раздели его вероятность в P на вероятность в Q, возьми логарифм и умножь на вероятность в P. Сложи полученные взвешенные слагаемые. В обозначении D_KL(P || Q) P — это распределение, задающее веса. Для непрерывных распределений используй плотности вероятности и интегрируй взвешенное отношение логарифмов по пространству исходов. Натуральные логарифмы дают наты, а логарифмы по основанию 2 — биты.

Для P = (0.8, 0.2) и Q = (0.5, 0.5) слагаемые равны 0.8 * ln(0.8 / 0.5) и 0.2 * ln(0.2 / 0.5). В сумме они дают 0.193 ната. Если поменять P и Q местами, получится 0.223 ната. Отдельные слагаемые могут быть отрицательными; сумма всегда неотрицательна.

KL-дивергенция в Python#

Выборка рукописных цифр, входящая в состав scikit-learn, содержит 1 797 размеченных изображений. Сравнение частот меток с равномерным распределением показывает, насколько выборка для классификации изображений отличается от равного распределения по классам. entropy из SciPy нормализует оба входных массива, поэтому принимает как количества объектов в классах, так и вероятности.

import numpy as np
from scipy.stats import entropy
from sklearn.datasets import load_digits

digits = load_digits()
labels = digits.target
counts = np.bincount(labels, minlength=10)
uniform = np.full(10, 0.1)

# Use the observed label frequencies as the first distribution.
kl = entropy(counts, uniform)
print(f"KL(observed || uniform): {kl:.6f} nats")

Результат составляет примерно 0.00011 ната и отражает то, что число изображений для каждой цифры примерно одинаково.

Как интерпретировать значения KL-дивергенции#

Ноль означает, что распределения совпадают. Чем выше значение, тем больше расхождение, если направление, единицы измерения и определения исходов остаются неизменными. При мониторинге моделей KL-дивергенция может выявлять изменения частот предсказанных классов между текущим временным окном и базовым периодом. Универсального порога для оповещений нет: значение зависит от разбиения на интервалы и размера выборки. Сдвиг частот предсказанных классов может стать поводом для проверки; метрики качества на размеченных данных позволяют оценить любое снижение качества модели.

Бесконечность возникает, когда дискретный исход имеет положительную вероятность в P и нулевую вероятность в Q. Исход с нулевой вероятностью в P ничего не добавляет. В наблюдаемой гистограмме пустой интервал может быть следствием ограниченной выборки. Если добавить небольшое значение к количеству объектов в каждом интервале перед нормализацией, для полученных сглаженных распределений получится конечное значение. Неформальное название KL-расстояние обозначает ту же величину, которая несимметрична и не удовлетворяет неравенству треугольника, обязательному для математического расстояния.

Где применяют KL-дивергенцию#

При дистилляции знаний ученик может учиться на полном распределении классов учителя. При дистилляции по мягким целевым значениям для обеих моделей используют вероятности softmax, масштабированные температурой. Если в KL-дивергенции первым указать учителя, она штрафует ученика за слишком низкую вероятность классов, которые учитель считает правдоподобными. Вариационный автоэнкодер использует KL-дивергенцию, чтобы регуляризовать закодированное латентное распределение, приближая его к выбранному априорному распределению, часто к стандартному нормальному распределению.

При посттренировочной квантизации моделей энтропийная калибровка сравнивает гистограммы активаций до и после имитации квантизации INT8. Она выбирает порог отсечения, при котором KL-дивергенция минимальна. Экспортёр TensorRT от Ultralytics выбирает энтропийную калибровку для посттренировочного экспорта YOLO26 в INT8, если целевой процессор — ускоритель глубокого обучения (DLA) на NVIDIA Jetson с совместимым с DLA выпуском TensorRT 7–10.

KL-дивергенция, перекрёстная энтропия и дивергенция Йенсена — Шеннона#

Функция потерь на основе перекрёстной энтропии складывает собственную неопределённость P и дополнительные затраты, измеряемые KL-дивергенцией. Если P фиксировано, обе функции потерь достигают оптимума при одном и том же Q. Если P — целевое распределение с единичной вероятностью для одного класса, его неопределённость равна нулю, поэтому обе функции потерь равны отрицательному логарифму вероятности, которую Q присваивает размеченному классу.

Дивергенция Йенсена — Шеннона усредняет две величины KL: одну от P к промежуточному распределению, другую — от Q к тому же промежуточному распределению. Промежуточное распределение задаёт положительную вероятность каждому исходу, который встречается хотя бы в одном из двух распределений. Благодаря этому дивергенция Йенсена — Шеннона симметрична, а её максимальное значение равно 1 биту; оно достигается, когда у распределений нет общих исходов.

Изучи решения

Компьютерное зрение в спорте

Компьютерное зрение в спорте

Узнай, как Ultralytics YOLO обеспечивает компьютерное зрение в спорте: отслеживание игроков и мяча, аналитика результатов, полезные выводы для тренеров и реабилитация спортсменов.
Подробнее
Компьютерное зрение для аэросъёмки

Компьютерное зрение для аэросъёмки

Превращай снимки с дронов и аэрофотоснимки в полезные данные в реальном времени для сельского хозяйства, аквакультуры, охраны природы и геопространственного анализа с Ultralytics YOLO.
Подробнее
Компьютерное зрение в аэрокосмической отрасли

Компьютерное зрение в аэрокосмической отрасли

Применяй компьютерное зрение в аэрокосмической отрасли с Ultralytics YOLO: для осмотра самолётов, обнаружения посторонних предметов на взлётно-посадочных полосах, наземного обслуживания аэропортов и выявления дефектов композитных материалов.
Подробнее
Компьютерное зрение в сфере безопасности

Компьютерное зрение в сфере безопасности

Защити любой объект с помощью моделей Ultralytics YOLO. ИИ на базе компьютерного зрения обеспечивает мониторинг периметра, обнаружение угроз, распознавание номерных знаков и безопасность на рабочем месте.
Подробнее
Компьютерное зрение в робототехнике

Компьютерное зрение в робототехнике

Создавай более интеллектуальные машины с моделями Ultralytics YOLO. ИИ на базе компьютерного зрения в робототехнике обеспечивает автономную навигацию, восприятие, отслеживание объектов и управление в реальном времени.
Подробнее
Компьютерное зрение в логистике

Компьютерное зрение в логистике

Оптимизируй логистику с моделями Ultralytics YOLO. Визуальный AI обеспечивает проверку посылок, сортировку, отслеживание транспорта и мониторинг безопасности на складе в реальном времени.
Подробнее
Компьютерное зрение в розничной торговле

Компьютерное зрение в розничной торговле

Переосмысли розничную торговлю с моделями Ultralytics YOLO. Визуальный AI обеспечивает отслеживание запасов, мониторинг полок, управление очередями и более глубокое понимание поведения покупателей.
Подробнее
Компьютерное зрение в здравоохранении

Компьютерное зрение в здравоохранении

Создавай решения для здравоохранения с моделями Ultralytics YOLO. Визуальный AI в здравоохранении ускоряет медицинскую визуализацию, улучшает диагностику и мониторинг пациентов.
Подробнее
Компьютерное зрение в производстве

Компьютерное зрение в производстве

Оптимизируй производство с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ обеспечивает контроль качества, обнаружение дефектов, контроль использования СИЗ и автоматизацию сборочных линий.
Подробнее
Компьютерное зрение в автомобильной отрасли

Компьютерное зрение в автомобильной отрасли

Применяй компьютерное зрение в автомобильной отрасли с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ повышает безопасность дорожного движения, улучшает помощь водителю и автоматизацию автомобилей, делая дороги умнее.
Подробнее
Компьютерное зрение в сельском хозяйстве

Компьютерное зрение в сельском хозяйстве

Внедряй ИИ для компьютерного зрения в умное сельское хозяйство с моделями Ultralytics YOLO. Используй их для мониторинга посевов, отслеживания скота и точного земледелия, чтобы повысить урожайность и эффективность.
Подробнее

Давай вместе строить будущее ИИ!

Начни свой путь в будущее машинного обучения