Temperature Scaling

Temperature scaling ist eine weit verbreitete Nachbearbeitungstechnik zur Kalibrierung der vorhergesagten Wahrscheinlichkeiten von Artificial Intelligence (AI)- und Machine Learning (ML)-Modellen. In modernem Deep Learning zeigen Modelle oft eine zu hohe Konfidenz, was bedeutet, dass ihre vorhergesagten Wahrscheinlichkeiten nicht genau die tatsächliche statistische Kalibrierung oder die Wahrscheinlichkeit der Korrektheit widerspiegeln. Temperature scaling begegnet diesem Problem, indem die rohen Ausgabewerte (Logits) des Netzwerks durch einen einzelnen, gelernten skalaren Parameter, der als "Temperatur" (T) bezeichnet wird, geteilt werden, bevor die softmax-Funktion angewendet wird. Diese Anpassung glättet die Wahrscheinlichkeiten, ohne die endgültige image classification-Entscheidung zu verändern, und stellt sicher, dass die confidence eines Modells eng mit seiner tatsächlichen Genauigkeit übereinstimmt.

Link to this sectionSo funktioniert Temperature Scaling#

In einem Standard-Klassifizierungsnetzwerk gibt die letzte Schicht rohe Logits aus, die dann durch eine Softmax-Aktivierung geleitet werden, um Wahrscheinlichkeiten zu erzeugen, die sich zu eins summieren. Moderne deep learning-Architekturen, insbesondere solche, die stark mit loss functions wie Cross-Entropy optimiert wurden, neigen dazu, diese Logits auf Extremwerte zu drücken, um den Verlust zu minimieren. Dies führt zu einem Phänomen, bei dem das Modell falsch kalibriert wird und eine zu hohe Konfidenz aufweist.

Temperature scaling führt einen Temperaturparameter (T) in die Softmax-Gleichung ein.

• Wenn T = 1 ist, verhält sich die Softmax-Funktion normal.
• Wenn T > 1 ist, werden die Logits nach unten skaliert, was die Ausgabeverteilung glättet, die Spitzenkonfidenz effektiv senkt und die Wahrscheinlichkeitsmasse gleichmäßiger auf alle Klassen verteilt.
• Wenn T < 1 ist, wird die Verteilung schärfer, was das Modell dazu drängt, noch zuversichtlicher in seiner Top-Vorhersage zu sein.

Durch die Optimierung von T auf einem festgelegten Validierungsset minimieren Ingenieure den erwarteten Kalibrierungsfehler. Diese einfache Anpassung mit einem einzelnen Parameter ist sehr beliebt, da sie nur einen minimalen Rechenaufwand erfordert und die ursprüngliche Genauigkeit der model weights bewahrt.

Link to this sectionTemperature Scaling vs. Label Smoothing#

Obwohl beide Techniken darauf abzielen, overfitting und übermäßige Konfidenz zu verhindern, operieren sie in unterschiedlichen Phasen des Modell-Lebenszyklus. Label smoothing wird während des Trainings angewendet. Es verändert die Ground-Truth-Ziele (zum Beispiel durch Ändern eines harten Labels von 1,0 auf 0,9), um zu verhindern, dass das Modell einer einzelnen Klasse die volle Wahrscheinlichkeit zuweist. Im Gegensatz dazu sind Temperature Scaling und neuere Varianten wie Focal Temperature Scaling Post-hoc-Kalibrierungsmethoden, die nach Abschluss des Trainings angewendet werden; das bedeutet, sie modifizieren die Ausgabewahrscheinlichkeiten eines vollständig trainierten Modells, ohne ein erneutes Training zu erfordern.

Link to this sectionPraxisanwendungen#

Eine korrekte Modellkalibrierung ist entscheidend für Sicherheit und Zuverlässigkeit in verschiedenen Branchen:

• Medical Diagnostics: Bei Aufgaben wie der Erkennung von Hirntumoren kann eine zu konfidente Fehlklassifizierung schwerwiegende klinische Folgen haben. Die Verwendung von Temperature Scaling stellt sicher, dass das predictive modeling-System zuverlässige Wahrscheinlichkeiten ausgibt. Wenn eine Scan-Vorhersage nach der Skalierung sehr unsicher ist, kann das System das Bild zuverlässig für eine manuelle Überprüfung durch einen Radiologen markieren. Aktuelle studien zur Kalibrierung klinischer Modelle unterstreichen weiterhin ihren Wert in restriktiven, hochkritischen Diagnoseumgebungen.
• Large Language Models (LLMs): Bei LLMs wird Temperature Scaling stark genutzt, um die stochastische Natur der Ausgabe und die Generierungsvielfalt zu steuern, wie man am OpenAI-Temperaturparameter sehen kann. Hohe Temperaturen erzeugen kreativeren, abwechslungsreicheren Text, während niedrige Temperaturen zu deterministischen, fokussierten Antworten führen. Da die Forschung voranschreitet, werden Techniken wie Adaptive Temperature Scaling (ATS) entwickelt, um den Kalibrierungsabbau zu korrigieren, der häufig nach dem verstärkenden Lernen durch menschliches Feedback (RLHF) auftritt.
• Autonomous Vehicles: Beim autonomen Fahren müssen object detection-Systeme sofort entscheiden, ob ein Hindernis ein Fußgänger oder ein Schatten ist. Die Kalibrierung dieser Visionsmodelle stellt sicher, dass Fallback-Mechanismen, wie etwa eine Notbremsung, zuverlässig ausgelöst werden, wenn die wahre Konfidenz des Modells unter einen kritischen Sicherheitsschwellenwert fällt.

Link to this sectionCode-Beispiel: Implementierung von Temperature Scaling#

Der folgende Ausschnitt zeigt, wie du einen Temperaturskalierer auf die rohen Logits eines Ultralytics YOLO26 classification-Modells unter Verwendung von PyTorch anwenden kannst.

import torch
import torch.nn.functional as F
from ultralytics import YOLO

# Load a pre-trained Ultralytics YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Assume 'logits' are the raw outputs from the model prior to activation
# (e.g., obtained via a custom forward pass or feature extraction)
logits = torch.tensor([[5.0, 2.0, 0.5]])

# Define an optimized temperature scalar (T > 1 softens the probabilities)
temperature = 1.5

# Apply temperature scaling before passing logits to the softmax function
scaled_logits = logits / temperature
calibrated_probabilities = F.softmax(scaled_logits, dim=1)

print(f"Original Softmax: {F.softmax(logits, dim=1)}")
print(f"Calibrated Probabilities: {calibrated_probabilities}")

Für Teams, die nahtlos kalibrierte Computer-Vision-Systeme bereitstellen möchten, bietet die Ultralytics Platform robuste Werkzeuge für das experiment tracking, das Finetuning von Modellen und die Überwachung der inference latency in Echtzeit. Darüber hinaus kann grundlegendes Wissen über moderne Kalibrierungstechniken auf einflussreiche Studien wie "On Calibration of Modern Neural Networks" zurückgeführt werden, welche Temperature Scaling als Industriestandard populär machten. Für weitere praktische Implementierungen erkunde die Frameworks von scikit-learn's probability calibration oder TensorFlow's uncertainty-aware models.