Licence YOLO
Retour au glossaire Ultralytics

Kullback-Leibler Divergence (KL Divergence)

La divergence de Kullback-Leibler mesure l'écart entre deux distributions de probabilité. L'ordre compte pour l'entraînement, la détection de dérive et l'étalonnage INT8.

La divergence de Kullback-Leibler (divergence KL), également appelée entropie relative, mesure la quantité d'informations supplémentaires nécessaire, en moyenne, pour encoder des résultats tirés d'une distribution de probabilité à l'aide d'un code conçu pour une autre. En apprentissage automatique, elle mesure le coût de l'utilisation des probabilités d'un modèle à la place d'une distribution de référence. L'ordre compte : la première distribution détermine le poids accordé à chaque résultat. Solomon Kullback et Richard A. Leibler ont présenté cette mesure dans leur article de 1951 On Information and Sufficiency.

Comment calculer la divergence KL#

Pour des distributions discrètes P et Q, fais correspondre les résultats par étiquette ou par intervalle. Pour chaque résultat, divise sa probabilité dans P par sa probabilité dans Q, prends le logarithme, puis multiplie par sa probabilité dans P. Additionne ces termes pondérés. Dans la notation D_KL(P || Q), P est la distribution qui fournit les poids. Pour les distributions continues, utilise les densités de probabilité et intègre le rapport logarithmique pondéré sur l'espace des résultats. Les logarithmes naturels donnent des nats ; ceux en base 2 donnent des bits.

Pour P = (0.8, 0.2) et Q = (0.5, 0.5), les termes sont 0.8 * ln(0.8 / 0.5) et 0.2 * ln(0.2 / 0.5). Leur somme est de 0.193 nats. En inversant P et Q, on obtient 0.223 nats. Certains termes peuvent être négatifs ; la somme est toujours non négative.

La divergence KL en Python#

L'échantillon d'images manuscrites fourni avec scikit-learn contient 1 797 images étiquetées. La comparaison de la fréquence des étiquettes avec une distribution uniforme montre dans quelle mesure l'échantillon de classification d'images s'écarte d'un équilibre égal entre les classes. entropy de SciPy normalise les deux entrées ; il accepte donc aussi bien des nombres d'exemples que des probabilités.

import numpy as np
from scipy.stats import entropy
from sklearn.datasets import load_digits

digits = load_digits()
labels = digits.target
counts = np.bincount(labels, minlength=10)
uniform = np.full(10, 0.1)

# Use the observed label frequencies as the first distribution.
kl = entropy(counts, uniform)
print(f"KL(observed || uniform): {kl:.6f} nats")

Le résultat est d'environ 0.00011 nats, ce qui reflète le nombre à peu près égal d'images pour chaque chiffre.

Comment interpréter les valeurs de divergence KL#

Zéro signifie que les distributions correspondent. Des valeurs plus élevées indiquent un écart plus important si la direction, les unités et les définitions des résultats restent identiques. Dans le suivi des modèles, la divergence KL peut signaler des changements dans la fréquence des classes prédites entre une fenêtre en production et une référence. Il n'existe pas de seuil d'alerte universel : le score varie en fonction du découpage en intervalles et de la taille de l'échantillon. Un changement dans la fréquence des classes prédites peut déclencher une vérification ; les métriques de performance calculées sur des données étiquetées quantifient toute baisse de la qualité du modèle.

L'infini survient dès qu'un résultat discret a une probabilité positive dans P et une probabilité nulle dans Q. Un résultat dont la probabilité est nulle dans P ne contribue pas au calcul. Dans un histogramme observé, un intervalle vide peut s'expliquer par un échantillonnage limité. Ajouter un petit nombre à chaque intervalle avant la normalisation donne un score fini pour les distributions lissées ainsi obtenues. L'appellation informelle distance KL désigne la même quantité, qui est asymétrique et ne satisfait pas l'inégalité triangulaire requise pour une distance mathématique.

Utilisations de la divergence KL#

Dans la distillation des connaissances, un modèle étudiant peut apprendre à partir de la distribution complète des classes du modèle enseignant. La distillation à cibles souples utilise les probabilités de softmax ajustées par la température pour les deux modèles. Placer le modèle enseignant en premier dans la divergence KL pénalise le modèle étudiant lorsqu'il attribue une probabilité trop faible aux classes que le modèle enseignant juge plausibles. Un autoencodeur variationnel utilise la divergence KL pour régulariser sa distribution latente encodée en direction d'un a priori choisi, souvent une distribution normale standard.

Lors de la quantification de modèle après entraînement, l'étalonnage par entropie compare les histogrammes d'activations avant et après une quantification INT8 simulée. Il sélectionne le seuil d'écrêtage qui produit la divergence KL la plus faible. L'exportateur TensorRT d'Ultralytics sélectionne l'étalonnage par entropie pour les exportations INT8 après entraînement de YOLO26 ciblant l'accélérateur d'apprentissage profond (DLA) sur NVIDIA Jetson avec une version de TensorRT 7–10 compatible avec le DLA.

Divergence KL, entropie croisée et divergence de Jensen-Shannon#

La perte d'entropie croisée ajoute l'incertitude inhérente à P au coût supplémentaire mesuré par la divergence KL. Lorsque P est fixe, les deux pertes ont le même optimum pour Q. Lorsque P est une cible one-hot, son incertitude est nulle ; les deux pertes sont donc égales au logarithme négatif de la probabilité que Q attribue à la classe étiquetée.

La divergence de Jensen-Shannon fait la moyenne de deux valeurs KL : l'une de P vers la distribution médiane et l'autre de Q vers cette même distribution médiane. La distribution médiane attribue une probabilité positive à chaque résultat présent dans l'une ou l'autre des distributions. La divergence de Jensen-Shannon est ainsi symétrique et atteint un maximum de 1 bit, lorsque les distributions n'ont aucun résultat en commun.

Découvre les solutions

La vision par ordinateur dans le sport

La vision par ordinateur dans le sport

Découvre comment Ultralytics YOLO propulse la vision par ordinateur dans le sport grâce au suivi des joueurs et du ballon, aux analyses de performance, aux conseils d’entraînement et à la rééducation des athlètes.
En savoir plus
Vision par ordinateur pour les images aériennes

Vision par ordinateur pour les images aériennes

Transforme les images de drones et les images aériennes en informations exploitables en temps réel pour l’agriculture, l’aquaculture, la conservation et l’analyse géospatiale avec Ultralytics YOLO.
En savoir plus
Vision par ordinateur dans l’aérospatiale

Vision par ordinateur dans l’aérospatiale

Applique la vision par ordinateur dans l’aérospatiale avec Ultralytics YOLO pour l’inspection des aéronefs, la détection des corps étrangers sur les pistes, les opérations au sol des aéroports et la détection des défauts des matériaux composites.
En savoir plus
La vision par ordinateur dans la sécurité

La vision par ordinateur dans la sécurité

Protège chaque site avec les modèles Ultralytics YOLO. L’IA visuelle permet la surveillance des périmètres, la détection des menaces, la reconnaissance des plaques d’immatriculation et la sécurité au travail.
En savoir plus
La vision par ordinateur en robotique

La vision par ordinateur en robotique

Donne plus de capacités à tes machines grâce aux modèles Ultralytics YOLO. Dans la robotique, l’IA visuelle permet la navigation autonome, la perception, le suivi des objets et le contrôle en temps réel.
En savoir plus
La vision par ordinateur dans la logistique

La vision par ordinateur dans la logistique

Optimise la logistique avec les modèles Ultralytics YOLO. La vision par IA permet d’inspecter les colis, de les trier, de suivre les véhicules et de surveiller la sécurité des entrepôts en temps réel.
En savoir plus
La vision par ordinateur dans le commerce de détail

La vision par ordinateur dans le commerce de détail

Réinvente le commerce de détail avec les modèles Ultralytics YOLO. La vision par IA permet de suivre les stocks, de surveiller les rayons, de gérer les files d’attente et de mieux comprendre les clients.
En savoir plus
La vision par ordinateur dans le secteur de la santé

La vision par ordinateur dans le secteur de la santé

Crée des solutions de santé avec les modèles Ultralytics YOLO. La vision par IA dans le secteur de la santé accélère l’imagerie médicale, améliore les diagnostics et facilite la surveillance des patients.
En savoir plus
La vision par ordinateur dans l’industrie manufacturière

La vision par ordinateur dans l’industrie manufacturière

Optimise la fabrication avec les modèles Ultralytics YOLO. La vision par IA améliore le contrôle qualité, la détection des défauts, le respect des règles concernant les EPI et l’automatisation des chaînes de montage.
En savoir plus
La vision par ordinateur dans l’automobile

La vision par ordinateur dans l’automobile

Mets la vision par ordinateur au service de l’automobile avec les modèles Ultralytics YOLO. La vision par IA renforce la sécurité routière, l’aide à la conduite et l’automatisation des véhicules pour des routes plus intelligentes.
En savoir plus
Vision par ordinateur dans l’agriculture

Vision par ordinateur dans l’agriculture

Fais entrer l’IA de vision dans l’agriculture intelligente avec les modèles Ultralytics YOLO. Optimise le suivi des cultures et du bétail ainsi que l’agriculture de précision pour obtenir des rendements plus élevés et plus intelligents.
En savoir plus

Construisons ensemble l’avenir de l’IA !

Commence ton parcours vers l’avenir de l’apprentissage automatique