Kullback-Leibler Divergence (KL Divergence)
A divergência de Kullback-Leibler mede como duas distribuições de probabilidade diferem. A ordem importa no treinamento, na detecção de deriva e na calibração INT8.
A divergência de Kullback-Leibler (divergência KL), também chamada de entropia relativa, mede quanta informação adicional é necessária, em média, para codificar resultados extraídos de uma distribuição de probabilidade usando um código criado para outra. Em aprendizado de máquina, ela mede o custo de usar as probabilidades de um modelo no lugar de uma distribuição de referência. A ordem importa: a primeira distribuição determina o peso atribuído a cada resultado. Solomon Kullback e Richard A. Leibler introduziram essa medida em seu artigo de 1951 Sobre informação e suficiência.
Como calcular a divergência KL#
Para distribuições discretas P e Q, associe os resultados por rótulo ou intervalo. Para cada resultado, divida sua probabilidade em P pela sua probabilidade em Q, calcule o logaritmo e multiplique-o pela probabilidade em P. Some esses termos ponderados. Na notação D_KL(P || Q), P é a distribuição que fornece os pesos. Para distribuições contínuas, use densidades de probabilidade e integre a razão logarítmica ponderada sobre o espaço de resultados. Logaritmos naturais resultam em nats; logaritmos de base 2 resultam em bits.
Para P = (0.8, 0.2) e Q = (0.5, 0.5), os termos são 0.8 * ln(0.8 / 0.5) e 0.2 * ln(0.2 / 0.5). A soma é 0.193 nats. Inverter P e Q resulta em 0.223 nats. Termos individuais podem ser negativos; a soma é sempre não negativa.
Divergência KL em Python#
A amostra de dígitos manuscritos incluída no scikit-learn contém 1.797 imagens rotuladas. Comparar as frequências dos rótulos com uma distribuição uniforme mostra o quanto a amostra de classificação de imagens se afasta do equilíbrio entre classes. entropy do SciPy normaliza ambas as entradas, portanto aceita contagens de classes e probabilidades.
import numpy as np
from scipy.stats import entropy
from sklearn.datasets import load_digits
digits = load_digits()
labels = digits.target
counts = np.bincount(labels, minlength=10)
uniform = np.full(10, 0.1)
# Use the observed label frequencies as the first distribution.
kl = entropy(counts, uniform)
print(f"KL(observed || uniform): {kl:.6f} nats")O resultado é de cerca de 0.00011 nats, refletindo o número aproximadamente igual de imagens por dígito.
Como interpretar os valores da divergência KL#
Zero significa que as distribuições coincidem. Valores maiores indicam uma discrepância maior quando a direção, as unidades e as definições dos resultados permanecem iguais. No monitoramento de modelos, a divergência KL pode sinalizar mudanças nas frequências das classes previstas entre uma janela em produção e uma referência. Não existe um limiar de alerta universal: a pontuação varia de acordo com os intervalos e o tamanho da amostra. Uma mudança nas frequências das classes previstas pode levar a uma análise; as métricas de desempenho em dados rotulados quantificam qualquer queda na qualidade do modelo.
Infinito ocorre sempre que um resultado discreto tem probabilidade positiva em P e probabilidade zero em Q. Um resultado com probabilidade zero em P não contribui para o cálculo. Em um histograma observado, um intervalo vazio pode ser consequência de uma amostragem limitada. Adicionar uma pequena contagem a cada intervalo antes da normalização produz uma pontuação finita para as distribuições suavizadas resultantes. O nome informal distância KL se refere à mesma quantidade, que é assimétrica e não satisfaz a desigualdade triangular exigida de uma distância matemática.
Onde a divergência KL é usada#
Na destilação de conhecimento, um aluno pode aprender com a distribuição completa de classes do professor. A destilação com alvos suaves usa probabilidades de softmax escaladas por temperatura para ambos os modelos. Colocar o professor primeiro na divergência KL penaliza o aluno por atribuir probabilidade insuficiente às classes que o professor considera plausíveis. Um autoencoder variacional usa a divergência KL para regularizar sua distribuição latente codificada em direção a um prior escolhido, geralmente uma distribuição normal padrão.
Na quantização de modelos pós-treinamento, a calibração por entropia compara histogramas das ativações antes e depois da quantização INT8 simulada. Ela seleciona o limiar de recorte que resulta na menor divergência KL. O exportador TensorRT da Ultralytics seleciona a calibração por entropia para exportações INT8 pós-treinamento de YOLO26 direcionadas ao acelerador de aprendizado profundo (DLA) da NVIDIA Jetson, com uma versão do TensorRT 7–10 compatível com DLA.
Divergência KL versus entropia cruzada e divergência de Jensen-Shannon#
A perda de entropia cruzada soma a incerteza inerente de P ao custo adicional medido pela divergência KL. Quando P é fixa, ambas as perdas têm o mesmo ótimo para Q. Quando P é um alvo one-hot, sua incerteza é zero, então ambas as perdas equivalem ao logaritmo negativo da probabilidade que Q atribui à classe rotulada.
A divergência de Jensen-Shannon calcula a média de dois valores KL: um de P até a distribuição intermediária e outro de Q até essa mesma distribuição intermediária. A distribuição intermediária atribui probabilidade positiva a todos os resultados que aparecem em qualquer uma das duas distribuições. Isso torna a divergência de Jensen-Shannon simétrica e lhe dá um máximo de 1 bit, atingido quando as distribuições não têm resultados em comum.










