Kullback-Leibler Divergence (KL Divergence)
La divergencia de Kullback-Leibler mide en qué se diferencian dos distribuciones de probabilidad. El orden importa en el entrenamiento, la detección de deriva y la calibración INT8.
La divergencia de Kullback-Leibler (divergencia KL), también llamada entropía relativa, mide cuánta información adicional hace falta, de media, para codificar resultados extraídos de una distribución de probabilidad usando un código diseñado para otra. En el aprendizaje automático, mide el coste de usar las probabilidades de un modelo en lugar de una distribución de referencia. El orden importa: la primera distribución determina el peso que se asigna a cada resultado. Solomon Kullback y Richard A. Leibler presentaron esta medida en su artículo de 1951 On Information and Sufficiency.
Cómo calcular la divergencia KL#
Para distribuciones discretas P y Q, empareja los resultados por etiqueta o intervalo. Para cada resultado, divide su probabilidad en P por su probabilidad en Q, calcula el logaritmo y multiplícalo por su probabilidad en P. Suma esos términos ponderados. En la notación D_KL(P || Q), P es la distribución que proporciona los pesos. Para distribuciones continuas, usa densidades de probabilidad e integra el cociente logarítmico ponderado en todo el espacio de resultados. Los logaritmos naturales dan nats; los logaritmos en base 2 dan bits.
Para P = (0.8, 0.2) y Q = (0.5, 0.5), los términos son 0.8 * ln(0.8 / 0.5) y 0.2 * ln(0.2 / 0.5). Suman 0.193 nats. Si intercambias P y Q, el resultado es 0.223 nats. Los términos individuales pueden ser negativos; la suma siempre es no negativa.
Divergencia KL en Python#
La muestra de dígitos escritos a mano incluida con scikit-learn contiene 1.797 imágenes etiquetadas. Comparar la frecuencia de sus etiquetas con una distribución uniforme muestra cuánto se aleja la muestra de clasificación de imágenes de un equilibrio igual entre clases. entropy de SciPy normaliza ambas entradas, por lo que acepta tanto recuentos de clases como probabilidades.
import numpy as np
from scipy.stats import entropy
from sklearn.datasets import load_digits
digits = load_digits()
labels = digits.target
counts = np.bincount(labels, minlength=10)
uniform = np.full(10, 0.1)
# Use the observed label frequencies as the first distribution.
kl = entropy(counts, uniform)
print(f"KL(observed || uniform): {kl:.6f} nats")El resultado es de aproximadamente 0.00011 nats, lo que refleja el número casi igual de imágenes por dígito.
Cómo interpretar los valores de la divergencia KL#
Cero significa que las distribuciones coinciden. Los valores más altos indican una mayor discrepancia si se mantienen la dirección, las unidades y las definiciones de los resultados. En la supervisión de modelos, la divergencia KL puede detectar cambios en las frecuencias de las clases predichas entre una ventana en producción y una línea base. No existe un umbral de alerta universal: la puntuación varía según la división en intervalos y el tamaño de la muestra. Un cambio en las frecuencias de las clases predichas puede activar una revisión; las métricas de rendimiento calculadas con datos etiquetados cuantifican cualquier disminución de la calidad del modelo.
Infinito se produce cuando un resultado discreto tiene una probabilidad positiva en P y una probabilidad cero en Q. Un resultado con probabilidad cero en P no contribuye al cálculo. En un histograma observado, un intervalo vacío puede deberse a un muestreo limitado. Añadir un recuento pequeño a cada intervalo antes de normalizar produce una puntuación finita para las distribuciones suavizadas resultantes. La denominación informal distancia KL se refiere a la misma cantidad, que es asimétrica y no cumple la desigualdad triangular que se exige a una distancia matemática.
Usos de la divergencia KL#
En la destilación del conocimiento, un modelo alumno puede aprender de la distribución completa de clases del modelo profesor. La destilación con objetivos blandos utiliza las probabilidades de softmax escaladas por temperatura para ambos modelos. Situar al profesor en primer lugar en la divergencia KL penaliza al modelo alumno por asignar una probabilidad demasiado baja a las clases que el modelo profesor considera plausibles. Un autocodificador variacional utiliza la divergencia KL para regularizar su distribución latente codificada hacia una distribución a priori elegida, a menudo una distribución normal estándar.
En la cuantización de modelos posterior al entrenamiento, la calibración por entropía compara los histogramas de activaciones antes y después de una cuantización INT8 simulada. Selecciona el umbral de recorte que produce la menor divergencia KL. El exportador de TensorRT de Ultralytics selecciona la calibración por entropía para las exportaciones INT8 de YOLO26 posteriores al entrenamiento destinadas al acelerador de aprendizaje profundo (DLA) de NVIDIA Jetson con una versión de TensorRT 7–10 compatible con DLA.
Divergencia KL frente a entropía cruzada y divergencia de Jensen-Shannon#
La pérdida de entropía cruzada suma la incertidumbre inherente de P al coste adicional que mide la divergencia KL. Si P es fija, ambas pérdidas tienen el mismo óptimo para Q. Si P es un objetivo one-hot, su incertidumbre es cero, por lo que ambas pérdidas equivalen al logaritmo negativo de la probabilidad que Q asigna a la clase etiquetada.
La divergencia de Jensen-Shannon calcula la media de dos valores de divergencia KL: uno de P a la distribución del punto medio y otro de Q a esa misma distribución. El punto medio asigna una probabilidad positiva a todos los resultados que aparecen en cualquiera de las dos distribuciones. Esto hace que la divergencia de Jensen-Shannon sea simétrica y tenga un máximo de 1 bit, que se alcanza cuando las distribuciones no tienen ningún resultado en común.










