Temperature Scaling

Temperature Scaling ist eine weit verbreitete Nachbearbeitungstechnik zur Kalibrierung der vorhergesagten Wahrscheinlichkeiten von Artificial Intelligence (AI) und Machine Learning (ML) Modellen. In modernem Deep Learning weisen Modelle oft eine zu hohe Konfidenz auf, was bedeutet, dass ihre vorhergesagten Wahrscheinlichkeiten nicht genau die tatsächliche statistische Kalibrierung oder Korrektheitswahrscheinlichkeit widerspiegeln. Temperature Scaling korrigiert dies, indem die rohen Ausgabewerte (Logits) des Netzwerks vor der Anwendung der softmax Funktion durch einen einzelnen, gelernten skalaren Parameter, die sogenannte „Temperatur“ (T), geteilt werden. Diese Anpassung glättet die Wahrscheinlichkeiten, ohne die endgültige Entscheidung bei der Bildklassifizierung zu beeinflussen, und stellt sicher, dass die Konfidenz eines Modells eng mit seiner tatsächlichen Genauigkeit übereinstimmt.

Link to this sectionFunktionsweise von Temperature Scaling#

In einem Standard-Klassifizierungsnetzwerk gibt die letzte Schicht rohe Logits aus, die dann eine Softmax-Aktivierung durchlaufen, um Wahrscheinlichkeiten zu erzeugen, die sich zu eins summieren. Moderne Deep Learning Architekturen, insbesondere solche, die stark mit Verlustfunktionen wie Cross-Entropy optimiert wurden, neigen dazu, diese Logits zur Verlustminimierung auf Extremwerte zu treiben. Dies führt zu einem Phänomen, bei dem das Modell falsch kalibriert und übermäßig konfident wird.

Temperature Scaling führt einen Temperaturparameter (T) in die Softmax-Gleichung ein.

• Bei T = 1 verhält sich die Softmax-Funktion normal.
• Wenn T > 1 ist, werden die Logits herunterskaliert, was die Ausgabeverteilung glättet, die Spitzenkonfidenz effektiv senkt und die Wahrscheinlichkeitsmasse gleichmäßiger über alle Klassen verteilt.
• Wenn T < 1 ist, wird die Verteilung schärfer, was das Modell dazu drängt, noch konfidenter in seiner Top-Vorhersage zu sein.

Durch die Optimierung von T auf einem dedizierten Validierungsdatensatz minimieren Ingenieure den erwarteten Kalibrierungsfehler. Diese einfache Anpassung mit nur einem Parameter wird sehr geschätzt, da sie nur minimalen Rechenaufwand erfordert und die ursprüngliche Genauigkeit der Modellgewichte bewahrt.

Link to this sectionTemperature Scaling vs. Label Smoothing#

Obwohl beide Techniken darauf abzielen, Overfitting und übermäßige Konfidenz zu verhindern, arbeiten sie in unterschiedlichen Phasen des Modelllebenszyklus. Label Smoothing wird während des Trainings angewendet. Es verändert die Ground-Truth-Ziele (zum Beispiel durch Änderung eines harten Labels von 1,0 auf 0,9), um zu verhindern, dass das Modell einer einzelnen Klasse eine volle Wahrscheinlichkeit zuweist. Im Gegensatz dazu sind Temperature Scaling und neuere Varianten wie Focal Temperature Scaling Post-hoc-Kalibrierungsmethoden, die nach Abschluss des Trainings angewendet werden. Das bedeutet, dass sie die Ausgabewahrscheinlichkeiten eines vollständig trainierten Modells ändern, ohne dass eine erneute Schulung erforderlich ist.

Link to this sectionPraxisanwendungen#

Eine korrekte Modellkalibrierung ist entscheidend für Sicherheit und Zuverlässigkeit in verschiedenen Branchen:

• Medizinische Diagnostik: Bei Aufgaben wie der Erkennung von Hirntumoren kann eine übermäßig selbstbewusste Fehlklassifizierung schwerwiegende klinische Konsequenzen haben. Der Einsatz von Temperature Scaling stellt sicher, dass das prädiktive Modellierungssystem zuverlässige Wahrscheinlichkeiten ausgibt. Wenn eine Scan-Vorhersage nach der Skalierung sehr unsicher ist, kann das System das Bild zuverlässig für eine manuelle Überprüfung durch einen Radiologen markieren. Jüngste Studien zur Kalibrierung klinischer Modelle unterstreichen weiterhin dessen Wert in eingeschränkten, risikoreichen Diagnoseumgebungen.
• Large Language Models (LLMs): Bei LLMs wird Temperature Scaling stark genutzt, um die stochastische Ausgabe und die Generierungsvielfalt zu steuern, wie man am Temperaturparameter von OpenAI sehen kann. Hohe Temperaturen führen zu kreativeren, abwechslungsreicheren Texten, während niedrige Temperaturen deterministische, fokussierte Antworten liefern. Mit fortschreitender Forschung werden Techniken wie Adaptive Temperature Scaling (ATS) entwickelt, um die Kalibrierungsverschlechterung zu korrigieren, die häufig nach dem Reinforcement Learning durch menschliches Feedback auftritt.
• Autonome Fahrzeuge: Beim autonomen Fahren müssen Objekterkennungssysteme sofort entscheiden, ob ein Hindernis ein Fußgänger oder ein Schatten ist. Die Kalibrierung dieser Visionsmodelle stellt sicher, dass Sicherheitsmechanismen wie Notbremsungen zuverlässig ausgelöst werden, wenn die wahre Konfidenz des Modells unter einen kritischen Schwellenwert fällt.

Link to this sectionCode-Beispiel: Implementierung von Temperature Scaling#

Der folgende Ausschnitt zeigt, wie du einen Temperaturskalar auf die rohen Logits eines Ultralytics YOLO26 Klassifizierungsmodells unter Verwendung von PyTorch anwenden kannst.

import torch
import torch.nn.functional as F
from ultralytics import YOLO

# Load a pre-trained Ultralytics YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Assume 'logits' are the raw outputs from the model prior to activation
# (e.g., obtained via a custom forward pass or feature extraction)
logits = torch.tensor([[5.0, 2.0, 0.5]])

# Define an optimized temperature scalar (T > 1 softens the probabilities)
temperature = 1.5

# Apply temperature scaling before passing logits to the softmax function
scaled_logits = logits / temperature
calibrated_probabilities = F.softmax(scaled_logits, dim=1)

print(f"Original Softmax: {F.softmax(logits, dim=1)}")
print(f"Calibrated Probabilities: {calibrated_probabilities}")

Für Teams, die kalibrierte Computer-Vision-Systeme nahtlos bereitstellen möchten, bietet die Ultralytics Plattform robuste Tools für das Experiment-Tracking, die Feinabstimmung von Modellen und die Überwachung der Inferenz-Latenz in Echtzeit. Darüber hinaus kann grundlegendes Wissen über moderne Kalibrierungstechniken auf einflussreiche Studien wie "On Calibration of Modern Neural Networks" zurückgeführt werden, die Temperature Scaling als Industriestandard populär machten. Für weitere praktische Implementierungen erkunde die Frameworks für die Wahrscheinlichkeitskalibrierung von scikit-learn oder die unsicherheitsbewussten Modelle von TensorFlow.