Temperature Scaling

La température scaling est une technique de post-traitement largement utilisée pour calibrer les probabilités prédites des modèles d'Artificial Intelligence (AI) et de Machine Learning (ML). En deep learning moderne, les modèles font souvent preuve d'un excès de confiance, ce qui signifie que leurs probabilités prédites ne reflètent pas précisément la véritable statistical calibration ou la probabilité d'exactitude. La température scaling résout ce problème en divisant les scores de sortie bruts du réseau (logits) par un seul paramètre scalaire appris, appelé "température" (T), avant d'appliquer la fonction softmax. Cet ajustement adoucit les probabilités sans modifier la décision finale d'image classification, garantissant ainsi que la confidence d'un modèle s'aligne étroitement sur son exactitude réelle.

Link to this sectionComment fonctionne la température scaling#

Dans un réseau de classification standard, la couche finale produit des logits bruts, qui sont ensuite passés par une activation softmax pour générer des probabilités dont la somme est égale à un. Les architectures de deep learning modernes, en particulier celles fortement optimisées avec des loss functions comme la cross-entropy, ont tendance à pousser ces logits vers des valeurs extrêmes pour minimiser la perte, menant à un phénomène où le modèle devient mal calibré et trop confiant.

La température scaling introduit un paramètre de température (T) dans l'équation softmax.

• Lorsque T = 1, la fonction softmax se comporte normalement.
• Lorsque T > 1, les logits sont réduits, ce qui adoucit la distribution de sortie, abaissant effectivement la confiance maximale et distribuant la masse de probabilité plus uniformément sur toutes les classes.
• Lorsque T < 1, la distribution devient plus nette, poussant le modèle à être encore plus confiant dans sa prédiction principale.

En optimisant T sur un ensemble de validation dédié, les ingénieurs minimisent l'erreur de calibration attendue. Cet ajustement simple, à paramètre unique, est très apprécié car il nécessite un coût computationnel minimal et préserve l'exactitude originale des model weights.

Link to this sectionTempérature Scaling vs. Label Smoothing#

Bien que les deux techniques visent à prévenir l'overfitting et l'excès de confiance, elles opèrent à des étapes différentes du cycle de vie du modèle. Le label smoothing est appliqué pendant l'entraînement. Il altère les cibles de vérité terrain (par exemple, en changeant un label dur de 1.0 à 0.9) pour empêcher le modèle d'attribuer une probabilité totale à une seule classe. En revanche, la température scaling—et des variantes plus récentes comme Focal Temperature Scaling—sont des méthodes de calibration post-hoc appliquées une fois l'entraînement terminé, ce qui signifie qu'elles modifient les probabilités de sortie d'un modèle entièrement entraîné sans nécessiter de réentraînement.

Link to this sectionApplications concrètes#

Une calibration appropriée du modèle est critique pour la sécurité et la fiabilité dans diverses industries :

• Diagnostic médical : Dans des tâches comme la détection de tumeurs cérébrales, une mauvaise classification trop confiante peut entraîner de graves conséquences cliniques. L'utilisation du temperature scaling garantit que ton système de predictive modeling génère des probabilités fiables. Si la prédiction d'un scan est très incertaine après le scaling, le système peut signaler l'image en toute confiance pour un examen manuel par un radiologue. Des études récentes sur le calibrage des modèles cliniques continuent de souligner sa valeur dans des environnements de diagnostic contraints et à enjeux élevés.
• Large Language Models (LLMs) : Pour les LLMs, la température scaling est largement utilisée pour contrôler la stochasticité des sorties et la diversité de génération, comme on le voit avec le OpenAI's temperature parameter. Les températures élevées produisent un texte plus créatif et varié, tandis que les températures basses donnent des réponses déterministes et ciblées. À mesure que la recherche progresse, des techniques comme Adaptive Temperature Scaling (ATS) sont développées pour corriger la dégradation de calibration qui survient souvent après l'apprentissage par renforcement à partir du feedback humain.
• Autonomous Vehicles : Dans la conduite autonome, les systèmes d'object detection doivent décider instantanément si un obstacle est un piéton ou une ombre. Calibrer ces modèles de vision garantit que les mécanismes de secours, tels que le freinage d'urgence, sont déclenchés de manière fiable lorsque la confiance réelle du modèle tombe en dessous d'un seuil de sécurité critique.

Link to this sectionExemple de code : Implémenter la Température Scaling#

The following snippet demonstrates how you might apply a temperature scalar to the raw logits of an Ultralytics YOLO26 classification model using PyTorch.

import torch
import torch.nn.functional as F
from ultralytics import YOLO

# Load a pre-trained Ultralytics YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Assume 'logits' are the raw outputs from the model prior to activation
# (e.g., obtained via a custom forward pass or feature extraction)
logits = torch.tensor([[5.0, 2.0, 0.5]])

# Define an optimized temperature scalar (T > 1 softens the probabilities)
temperature = 1.5

# Apply temperature scaling before passing logits to the softmax function
scaled_logits = logits / temperature
calibrated_probabilities = F.softmax(scaled_logits, dim=1)

print(f"Original Softmax: {F.softmax(logits, dim=1)}")
print(f"Calibrated Probabilities: {calibrated_probabilities}")

Pour les équipes cherchant à déployer des systèmes de vision par ordinateur calibrés de manière transparente, l'Ultralytics Platform fournit des outils robustes pour gérer l'experiment tracking, le fine-tuning des modèles et la surveillance de l'inference latency en temps réel. De plus, les connaissances fondamentales sur les techniques de calibration modernes peuvent être retracées jusqu'à des études influentes comme "On Calibration of Modern Neural Networks", qui ont popularisé la température scaling en tant que standard industriel. Pour d'autres implémentations pratiques, explore les frameworks de scikit-learn's probability calibration ou les TensorFlow's uncertainty-aware models.