Licenza YOLO
Torna al glossario di Ultralytics

Kullback-Leibler Divergence (KL Divergence)

La divergenza di Kullback-Leibler misura quanto differiscono due distribuzioni di probabilità. L'ordine è importante nell'addestramento, nel rilevamento del drift e nella calibrazione INT8.

La divergenza di Kullback-Leibler (divergenza KL), detta anche entropia relativa, misura quanta informazione aggiuntiva è necessario codificare, in media, per rappresentare gli esiti estratti da una distribuzione di probabilità usando un codice progettato per un'altra. Nel machine learning, misura il costo di usare le probabilità di un modello al posto di una distribuzione di riferimento. L'ordine è importante: la prima distribuzione determina il peso assegnato a ciascun esito. Solomon Kullback e Richard A. Leibler introdussero questa misura nel loro articolo del 1951 On Information and Sufficiency.

Come calcolare la divergenza KL#

Per distribuzioni discrete P e Q, abbina gli esiti per etichetta o bin. Per ciascun esito, dividi la sua probabilità in P per la sua probabilità in Q, calcola il logaritmo e moltiplica per la sua probabilità in P. Somma i termini così ponderati. Nella notazione D_KL(P || Q), P è la distribuzione che fornisce i pesi. Per distribuzioni continue, usa le densità di probabilità e integra il rapporto logaritmico ponderato sull'insieme degli esiti. I logaritmi naturali danno nat; quelli in base 2 danno bit.

Per P = (0.8, 0.2) e Q = (0.5, 0.5), i termini sono 0.8 * ln(0.8 / 0.5) e 0.2 * ln(0.2 / 0.5). La loro somma è 0.193 nat. Scambiando P e Q si ottengono 0.223 nat. I singoli termini possono essere negativi; la somma è sempre non negativa.

Divergenza KL in Python#

Il campione di cifre scritte a mano incluso in scikit-learn contiene 1.797 immagini etichettate. Confrontando le frequenze delle etichette con una distribuzione uniforme, si vede quanto il campione di classificazione delle immagini si discosti da un bilanciamento uniforme delle classi. entropy di SciPy normalizza entrambi gli input, quindi accetta sia i conteggi delle classi sia le probabilità.

import numpy as np
from scipy.stats import entropy
from sklearn.datasets import load_digits

digits = load_digits()
labels = digits.target
counts = np.bincount(labels, minlength=10)
uniform = np.full(10, 0.1)

# Use the observed label frequencies as the first distribution.
kl = entropy(counts, uniform)
print(f"KL(observed || uniform): {kl:.6f} nats")

Il risultato è circa 0.00011 nat e riflette il numero pressoché uguale di immagini per cifra.

Come interpretare i valori della divergenza KL#

Zero significa che le distribuzioni coincidono. Valori più grandi indicano una maggiore discrepanza, a parità di direzione, unità e definizioni degli esiti. Nel monitoraggio dei modelli, la divergenza KL può segnalare cambiamenti nelle frequenze delle classi previste tra una finestra di dati in produzione e una baseline. Non esiste una soglia di allerta universale: il punteggio varia in base al binning e alla dimensione del campione. Una variazione nelle frequenze delle classi previste può richiedere una verifica; le metriche di prestazione calcolate su dati etichettati quantificano eventuali cali nella qualità del modello.

L'infinito si verifica quando un esito discreto ha probabilità positiva in P e probabilità zero in Q. Un esito con probabilità zero in P non contribuisce al risultato. In un istogramma osservato, un bin vuoto può essere dovuto a un campionamento limitato. Aggiungendo un piccolo conteggio a ogni bin prima della normalizzazione si ottiene un punteggio finito per le distribuzioni smussate risultanti. Il nome informale distanza KL si riferisce alla stessa quantità, che è asimmetrica e non soddisfa la disuguaglianza triangolare richiesta a una distanza matematica.

Dove si usa la divergenza KL#

Nella distillazione della conoscenza, uno studente può apprendere dall'intera distribuzione delle classi del docente. La distillazione con target morbidi usa le probabilità softmax scalate in base alla temperatura per entrambi i modelli. Posizionare il docente per primo nella divergenza KL penalizza lo studente se assegna una probabilità troppo bassa alle classi che il docente considera plausibili. Un autoencoder variazionale usa la divergenza KL per regolarizzare la propria distribuzione latente codificata verso un prior scelto, spesso una distribuzione normale standard.

Nella quantizzazione dei modelli post-training, la calibrazione entropica confronta gli istogrammi delle attivazioni prima e dopo una quantizzazione INT8 simulata. Seleziona la soglia di clipping che produce la divergenza KL più bassa. L'esportatore TensorRT di Ultralytics seleziona la calibrazione entropica per le esportazioni post-training INT8 di YOLO26 destinate all'acceleratore per il deep learning (DLA) su NVIDIA Jetson con una versione di TensorRT 7–10 compatibile con DLA.

Divergenza KL a confronto con entropia incrociata e divergenza di Jensen-Shannon#

La funzione di perdita di entropia incrociata somma l'incertezza intrinseca di P al costo aggiuntivo misurato dalla divergenza KL. Quando P è fissa, entrambe le funzioni di perdita hanno lo stesso ottimo rispetto a Q. Quando P è un target one-hot, la sua incertezza è zero, quindi entrambe le funzioni di perdita sono uguali al logaritmo negativo della probabilità che Q assegna alla classe etichettata.

La divergenza di Jensen-Shannon calcola la media di due valori KL: uno da P alla distribuzione intermedia e uno da Q alla stessa distribuzione intermedia. La distribuzione intermedia assegna una probabilità positiva a ogni esito presente in una delle due distribuzioni. Questo rende simmetrica la divergenza di Jensen-Shannon e le dà un massimo di 1 bit, raggiunto quando le distribuzioni non hanno esiti in comune.

Esplora le soluzioni

La visione artificiale nello sport

La visione artificiale nello sport

Scopri come Ultralytics YOLO alimenta la computer vision nello sport con il tracciamento di giocatori e palloni, l'analisi delle prestazioni, gli approfondimenti per gli allenatori e la riabilitazione degli atleti.
Scopri di più
Computer vision per immagini aeree

Computer vision per immagini aeree

Trasforma immagini aeree e riprese da drone in informazioni utili in tempo reale per agricoltura, acquacoltura, conservazione e analisi geospaziale con Ultralytics YOLO.
Scopri di più
Computer vision nel settore aerospaziale

Computer vision nel settore aerospaziale

Applica la visione artificiale nel settore aerospaziale con Ultralytics YOLO per l'ispezione degli aeromobili, il rilevamento di FOD sulle piste, le operazioni di terra aeroportuali e il rilevamento di difetti nei materiali compositi.
Scopri di più
Visione artificiale nella sicurezza

Visione artificiale nella sicurezza

Proteggi ogni sito con i modelli Ultralytics YOLO. L'IA visiva alimenta il monitoraggio perimetrale, il rilevamento delle minacce, il riconoscimento delle targhe e la sicurezza sul lavoro.
Scopri di più
Visione artificiale nella robotica

Visione artificiale nella robotica

Dai più potenza alle macchine intelligenti con i modelli Ultralytics YOLO. Nell'ambito della robotica, l'IA visiva alimenta la navigazione autonoma, la percezione, il tracciamento degli oggetti e il controllo in tempo reale.
Scopri di più
Visione artificiale nella logistica

Visione artificiale nella logistica

Semplifica la logistica con i modelli Ultralytics YOLO. L'IA per la visione consente l'ispezione dei pacchi, la selezione, il tracciamento dei veicoli e il monitoraggio della sicurezza nei magazzini in tempo reale.
Scopri di più
Visione artificiale nel commercio al dettaglio

Visione artificiale nel commercio al dettaglio

Ripensa il commercio al dettaglio con i modelli Ultralytics YOLO. L'IA per la visione consente di tracciare le scorte, monitorare gli scaffali, gestire le code e ottenere informazioni più approfondite sui clienti.
Scopri di più
Visione artificiale in ambito sanitario

Visione artificiale in ambito sanitario

Crea soluzioni sanitarie con i modelli Ultralytics YOLO. In ambito sanitario, l'IA per la visione consente di elaborare più rapidamente le immagini mediche, migliorare la diagnostica e monitorare i pazienti.
Scopri di più
Computer vision nella produzione

Computer vision nella produzione

Ottimizza la produzione con i modelli Ultralytics YOLO. La visione basata sull'IA migliora il controllo qualità, il rilevamento dei difetti, la conformità ai requisiti sui DPI e l'automazione delle linee di assemblaggio.
Scopri di più
Computer vision nel settore automobilistico

Computer vision nel settore automobilistico

Applica la computer vision al settore automobilistico con i modelli Ultralytics YOLO. La visione basata sull'IA migliora la sicurezza stradale, i sistemi di assistenza alla guida e l'automazione dei veicoli, per strade più intelligenti.
Scopri di più
Visione artificiale in agricoltura

Visione artificiale in agricoltura

Porta l'IA visiva nell'agricoltura intelligente con i modelli Ultralytics YOLO. Gestisci il monitoraggio delle colture, il tracciamento del bestiame e l'agricoltura di precisione per ottenere raccolti più abbondanti e intelligenti.
Scopri di più

Costruiamo insieme il futuro dell'IA!

Inizia il tuo percorso verso il futuro del machine learning