Licenciar o YOLO
Voltar ao glossário da Ultralytics

Kullback-Leibler Divergence (KL Divergence)

A divergência de Kullback-Leibler mede como duas distribuições de probabilidade diferem. A ordem importa no treinamento, na detecção de deriva e na calibração INT8.

A divergência de Kullback-Leibler (divergência KL), também chamada de entropia relativa, mede quanta informação adicional é necessária, em média, para codificar resultados extraídos de uma distribuição de probabilidade usando um código criado para outra. Em aprendizado de máquina, ela mede o custo de usar as probabilidades de um modelo no lugar de uma distribuição de referência. A ordem importa: a primeira distribuição determina o peso atribuído a cada resultado. Solomon Kullback e Richard A. Leibler introduziram essa medida em seu artigo de 1951 Sobre informação e suficiência.

Como calcular a divergência KL#

Para distribuições discretas P e Q, associe os resultados por rótulo ou intervalo. Para cada resultado, divida sua probabilidade em P pela sua probabilidade em Q, calcule o logaritmo e multiplique-o pela probabilidade em P. Some esses termos ponderados. Na notação D_KL(P || Q), P é a distribuição que fornece os pesos. Para distribuições contínuas, use densidades de probabilidade e integre a razão logarítmica ponderada sobre o espaço de resultados. Logaritmos naturais resultam em nats; logaritmos de base 2 resultam em bits.

Para P = (0.8, 0.2) e Q = (0.5, 0.5), os termos são 0.8 * ln(0.8 / 0.5) e 0.2 * ln(0.2 / 0.5). A soma é 0.193 nats. Inverter P e Q resulta em 0.223 nats. Termos individuais podem ser negativos; a soma é sempre não negativa.

Divergência KL em Python#

A amostra de dígitos manuscritos incluída no scikit-learn contém 1.797 imagens rotuladas. Comparar as frequências dos rótulos com uma distribuição uniforme mostra o quanto a amostra de classificação de imagens se afasta do equilíbrio entre classes. entropy do SciPy normaliza ambas as entradas, portanto aceita contagens de classes e probabilidades.

import numpy as np
from scipy.stats import entropy
from sklearn.datasets import load_digits

digits = load_digits()
labels = digits.target
counts = np.bincount(labels, minlength=10)
uniform = np.full(10, 0.1)

# Use the observed label frequencies as the first distribution.
kl = entropy(counts, uniform)
print(f"KL(observed || uniform): {kl:.6f} nats")

O resultado é de cerca de 0.00011 nats, refletindo o número aproximadamente igual de imagens por dígito.

Como interpretar os valores da divergência KL#

Zero significa que as distribuições coincidem. Valores maiores indicam uma discrepância maior quando a direção, as unidades e as definições dos resultados permanecem iguais. No monitoramento de modelos, a divergência KL pode sinalizar mudanças nas frequências das classes previstas entre uma janela em produção e uma referência. Não existe um limiar de alerta universal: a pontuação varia de acordo com os intervalos e o tamanho da amostra. Uma mudança nas frequências das classes previstas pode levar a uma análise; as métricas de desempenho em dados rotulados quantificam qualquer queda na qualidade do modelo.

Infinito ocorre sempre que um resultado discreto tem probabilidade positiva em P e probabilidade zero em Q. Um resultado com probabilidade zero em P não contribui para o cálculo. Em um histograma observado, um intervalo vazio pode ser consequência de uma amostragem limitada. Adicionar uma pequena contagem a cada intervalo antes da normalização produz uma pontuação finita para as distribuições suavizadas resultantes. O nome informal distância KL se refere à mesma quantidade, que é assimétrica e não satisfaz a desigualdade triangular exigida de uma distância matemática.

Onde a divergência KL é usada#

Na destilação de conhecimento, um aluno pode aprender com a distribuição completa de classes do professor. A destilação com alvos suaves usa probabilidades de softmax escaladas por temperatura para ambos os modelos. Colocar o professor primeiro na divergência KL penaliza o aluno por atribuir probabilidade insuficiente às classes que o professor considera plausíveis. Um autoencoder variacional usa a divergência KL para regularizar sua distribuição latente codificada em direção a um prior escolhido, geralmente uma distribuição normal padrão.

Na quantização de modelos pós-treinamento, a calibração por entropia compara histogramas das ativações antes e depois da quantização INT8 simulada. Ela seleciona o limiar de recorte que resulta na menor divergência KL. O exportador TensorRT da Ultralytics seleciona a calibração por entropia para exportações INT8 pós-treinamento de YOLO26 direcionadas ao acelerador de aprendizado profundo (DLA) da NVIDIA Jetson, com uma versão do TensorRT 7–10 compatível com DLA.

Divergência KL versus entropia cruzada e divergência de Jensen-Shannon#

A perda de entropia cruzada soma a incerteza inerente de P ao custo adicional medido pela divergência KL. Quando P é fixa, ambas as perdas têm o mesmo ótimo para Q. Quando P é um alvo one-hot, sua incerteza é zero, então ambas as perdas equivalem ao logaritmo negativo da probabilidade que Q atribui à classe rotulada.

A divergência de Jensen-Shannon calcula a média de dois valores KL: um de P até a distribuição intermediária e outro de Q até essa mesma distribuição intermediária. A distribuição intermediária atribui probabilidade positiva a todos os resultados que aparecem em qualquer uma das duas distribuições. Isso torna a divergência de Jensen-Shannon simétrica e lhe dá um máximo de 1 bit, atingido quando as distribuições não têm resultados em comum.

Explore as soluções

Visão computacional no desporto

Visão computacional no desporto

Descubra como o Ultralytics YOLO impulsiona a visão computacional no esporte com rastreamento de jogadores e bolas, análise de desempenho, insights para treinadores e reabilitação de atletas.
Saiba mais
Visão computacional para imagens aéreas

Visão computacional para imagens aéreas

Transforma imagens de drones e aéreas em informações em tempo real para a agricultura, a aquacultura, a conservação e a análise geoespacial com Ultralytics YOLO.
Saiba mais
Visão computacional no setor aeroespacial

Visão computacional no setor aeroespacial

Aplica visão computacional na indústria aeroespacial com Ultralytics YOLO para inspecionar aeronaves, detetar objetos estranhos na pista (FOD), apoiar operações aeroportuárias em terra e detetar defeitos em materiais compósitos.
Saiba mais
Visão computacional na segurança

Visão computacional na segurança

Protege todas as instalações com os modelos Ultralytics YOLO. A IA visual permite monitorizar perímetros, detetar ameaças, reconhecer matrículas e melhorar a segurança no local de trabalho.
Saiba mais
Visão computacional na robótica

Visão computacional na robótica

Potencia máquinas mais inteligentes com os modelos Ultralytics YOLO. A IA visual na robótica permite navegação autónoma, perceção, rastreamento de objetos e controlo em tempo real.
Saiba mais
Visão computacional na logística

Visão computacional na logística

Otimize a logística com os modelos Ultralytics YOLO. A IA de visão permite inspecionar pacotes, fazer triagem, rastrear veículos e monitorar a segurança em tempo real nos armazéns.
Saiba mais
Visão computacional no varejo

Visão computacional no varejo

Reinvente o varejo com os modelos Ultralytics YOLO. A IA de visão permite rastrear o estoque, monitorar prateleiras, gerenciar filas e obter insights mais inteligentes sobre clientes.
Saiba mais
Visão computacional na área da saúde

Visão computacional na área da saúde

Desenvolva soluções de saúde com os modelos Ultralytics YOLO. A IA de visão na área da saúde permite obter imagens médicas mais rapidamente, diagnósticos mais inteligentes e monitoramento de pacientes.
Saiba mais
Visão computacional na manufatura

Visão computacional na manufatura

Otimize a manufatura com modelos Ultralytics YOLO. A IA visual impulsiona o controle de qualidade, a detecção de defeitos, a conformidade com o uso de EPI e a automação da linha de montagem.
Saiba mais
Visão computacional no setor automotivo

Visão computacional no setor automotivo

Aplique visão computacional no setor automotivo com modelos Ultralytics YOLO. A IA visual aumenta a segurança viária, aprimora a assistência ao condutor e viabiliza a automação de veículos para estradas mais inteligentes.
Saiba mais
Visão computacional na agricultura

Visão computacional na agricultura

Leve a IA de visão à agricultura inteligente com os modelos Ultralytics YOLO. Aprimore o monitoramento de plantações, o rastreamento de animais e a agricultura de precisão para obter safras maiores e mais inteligentes.
Saiba mais

Vamos construir juntos o futuro da IA!

Comece sua jornada rumo ao futuro do aprendizado de máquina