Temperature Scaling

Le "temperature scaling" est une technique de post-traitement largement utilisée pour calibrer les probabilités prédites par les modèles d'Intelligence Artificielle (IA) et d'Apprentissage Automatique (ML). Dans le deep learning moderne, les modèles font souvent preuve d'un excès de confiance, ce qui signifie que leurs probabilités prédites ne reflètent pas précisément la véritable calibration statistique ou la probabilité d'exactitude. Le temperature scaling résout ce problème en divisant les scores bruts de sortie du réseau (les logits) par un paramètre scalaire appris unique, appelé "température" (T), avant d'appliquer la fonction softmax. Cet ajustement adoucit les probabilités sans altérer la décision finale de classification d'images, garantissant que la confiance d'un modèle s'aligne étroitement avec sa précision réelle.

Link to this sectionComment fonctionne le Temperature Scaling#

Dans un réseau de classification standard, la dernière couche produit des logits bruts, qui sont ensuite passés par une activation softmax pour générer des probabilités dont la somme est égale à un. Les architectures de deep learning modernes, en particulier celles fortement optimisées avec des fonctions de perte comme l'entropie croisée, ont tendance à pousser ces logits vers des valeurs extrêmes afin de minimiser la perte, conduisant à un phénomène où le modèle devient mal calibré et trop confiant.

Le temperature scaling introduit un paramètre de température (T) dans l'équation softmax.

• Lorsque T = 1, la fonction softmax se comporte normalement.
• Lorsque T > 1, les logits sont réduits, ce qui adoucit la distribution de sortie, abaissant efficacement la confiance maximale et distribuant la masse de probabilité de manière plus uniforme sur toutes les classes.
• Lorsque T < 1, la distribution devient plus nette, poussant le modèle à être encore plus confiant dans sa prédiction principale.

En optimisant T sur un ensemble de validation désigné, les ingénieurs minimisent l'erreur de calibration attendue. Cet ajustement simple, à paramètre unique, est fortement privilégié car il nécessite un minimum de ressources computationnelles et préserve la précision originale des poids du modèle.

Link to this sectionTemperature Scaling vs. Label Smoothing#

Bien que les deux techniques visent à prévenir le surapprentissage et l'excès de confiance, elles opèrent à des étapes différentes du cycle de vie du modèle. Le label smoothing est appliqué pendant l'entraînement. Il modifie les cibles de vérité terrain (par exemple, en changeant une étiquette stricte de 1.0 à 0.9) pour empêcher le modèle d'attribuer une probabilité totale à une seule classe. En revanche, le temperature scaling — et ses variantes plus récentes comme le Focal Temperature Scaling — sont des méthodes de calibration post-hoc appliquées une fois l'entraînement terminé, ce qui signifie qu'elles modifient les probabilités de sortie d'un modèle entièrement entraîné sans nécessiter de réentraînement.

Link to this sectionApplications concrètes#

Une calibration correcte du modèle est essentielle pour la sécurité et la fiabilité dans divers secteurs :

• Diagnostics médicaux : Dans des tâches comme la détection de tumeurs cérébrales, une classification erronée trop confiante peut entraîner de graves conséquences cliniques. L'utilisation du temperature scaling garantit que le système de modélisation prédictive génère des probabilités fiables. Si la prédiction d'un scan est très incertaine après le scaling, le système peut signaler l'image en toute confiance pour un examen manuel par un radiologue. Des études récentes sur la calibration des modèles cliniques continuent de souligner sa valeur dans les environnements de diagnostic contraints et à enjeux élevés.
• Grands modèles de langage (LLM) : Pour les LLM, le temperature scaling est largement utilisé pour contrôler la stochasticité de la sortie et la diversité de la génération, comme on le voit avec le paramètre de température d'OpenAI. Des températures élevées produisent un texte plus créatif et varié, tandis que des températures basses génèrent des réponses déterministes et ciblées. À mesure que la recherche progresse, des techniques telles que le Adaptive Temperature Scaling (ATS) sont développées pour corriger la dégradation de la calibration qui survient souvent après un apprentissage par renforcement à partir de retours humains.
• Véhicules autonomes : Dans la conduite autonome, les systèmes de détection d'objets doivent décider instantanément si un obstacle est un piéton ou une ombre. La calibration de ces modèles de vision garantit que les mécanismes de secours, tels que le freinage d'urgence, sont déclenchés de manière fiable lorsque la véritable confiance du modèle chute en dessous d'un seuil de sécurité critique.

Link to this sectionExemple de code : Implémentation du Temperature Scaling#

The following snippet demonstrates how you might apply a temperature scalar to the raw logits of an Ultralytics YOLO26 classification model using PyTorch.

import torch
import torch.nn.functional as F
from ultralytics import YOLO

# Load a pre-trained Ultralytics YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Assume 'logits' are the raw outputs from the model prior to activation
# (e.g., obtained via a custom forward pass or feature extraction)
logits = torch.tensor([[5.0, 2.0, 0.5]])

# Define an optimized temperature scalar (T > 1 softens the probabilities)
temperature = 1.5

# Apply temperature scaling before passing logits to the softmax function
scaled_logits = logits / temperature
calibrated_probabilities = F.softmax(scaled_logits, dim=1)

print(f"Original Softmax: {F.softmax(logits, dim=1)}")
print(f"Calibrated Probabilities: {calibrated_probabilities}")

Pour les équipes cherchant à déployer des systèmes de vision par ordinateur calibrés de manière fluide, la plateforme Ultralytics fournit des outils robustes pour gérer le suivi d'expériences, le fine-tuning des modèles et la surveillance de la latence d'inférence en temps réel. De plus, les connaissances fondamentales sur les techniques de calibration modernes peuvent être retracées dans des études influentes telles que "On Calibration of Modern Neural Networks", qui a popularisé le temperature scaling comme standard de l'industrie. Pour d'autres implémentations pratiques, explorez les frameworks de calibration de probabilité de scikit-learn ou les modèles conscients de l'incertitude de TensorFlow.