Temperature Scaling

Temperature scaling es una técnica de posprocesamiento ampliamente utilizada, diseñada para calibrar las probabilidades predichas de modelos de Inteligencia Artificial (IA) y Aprendizaje Automático (ML). En el aprendizaje profundo moderno, los modelos a menudo muestran un exceso de confianza, lo que significa que sus probabilidades predichas no reflejan con precisión la verdadera calibración estadística o probabilidad de acierto. Temperature scaling soluciona esto dividiendo las puntuaciones de salida brutas (logits) de la red por un único parámetro escalar aprendido, conocido como "temperatura" (T), antes de aplicar la función softmax. Este ajuste suaviza las probabilidades sin alterar la decisión final de clasificación de imágenes, asegurando que la confianza del modelo se alinee estrechamente con su precisión real.

Link to this sectionCómo funciona Temperature Scaling#

En una red de clasificación estándar, la capa final genera logits sin procesar, que luego pasan a través de una activación softmax para producir probabilidades que suman uno. Las arquitecturas de aprendizaje profundo modernas, especialmente aquellas optimizadas intensamente con funciones de pérdida como la entropía cruzada, tienden a empujar estos logits a valores extremos para minimizar la pérdida, lo que conduce a un fenómeno donde el modelo se vuelve descalibrado y excesivamente confiado.

Temperature scaling introduce un parámetro de temperatura (T) en la ecuación softmax.

• Cuando T = 1, la función softmax se comporta con normalidad.
• Cuando T > 1, los logits se reducen, lo que suaviza la distribución de salida, reduciendo efectivamente la confianza máxima y distribuyendo la masa de probabilidad de manera más uniforme entre todas las clases.
• Cuando T < 1, la distribución se vuelve más pronunciada, empujando al modelo a ser aún más confiado en su predicción principal.

Al optimizar T en un conjunto de validación designado, los ingenieros minimizan el error de calibración esperado. Este ajuste simple de un solo parámetro es muy preferido porque requiere una sobrecarga computacional mínima y preserva la precisión original de los pesos del modelo.

Link to this sectionTemperature Scaling frente a Label Smoothing#

Aunque ambas técnicas tienen como objetivo evitar el sobreajuste y el exceso de confianza, operan en diferentes etapas del ciclo de vida del modelo. Label smoothing se aplica durante el entrenamiento. Altera los objetivos de verdad fundamental (por ejemplo, cambiando una etiqueta rígida de 1.0 a 0.9) para evitar que el modelo asigne una probabilidad completa a una sola clase. Por el contrario, temperature scaling, y variantes más nuevas como Focal Temperature Scaling, son métodos de calibración post-hoc aplicados una vez finalizado el entrenamiento, lo que significa que modifican las probabilidades de salida de un modelo completamente entrenado sin necesidad de reentrenamiento.

Link to this sectionAplicaciones en el mundo real#

Una calibración adecuada del modelo es crítica para la seguridad y fiabilidad en diversas industrias:

• Diagnóstico médico: En tareas como la detección de tumores cerebrales, una clasificación errónea con exceso de confianza puede derivar en consecuencias clínicas graves. El uso de temperature scaling asegura que el sistema de modelado predictivo genere probabilidades fiables. Si una predicción de escáner es muy incierta tras aplicar el escalado, el sistema puede marcar la imagen con seguridad para su revisión manual por parte de un radiólogo. Estudios recientes sobre la calibración de modelos clínicos siguen subrayando su valor en entornos diagnósticos restringidos y de alto riesgo.
• Modelos de lenguaje extensos (LLMs): Para los LLMs, temperature scaling se utiliza intensamente para controlar la estocasticidad de la salida y la diversidad de generación, como se observa con el parámetro de temperatura de OpenAI. Las temperaturas altas producen textos más creativos y variados, mientras que las bajas generan respuestas deterministas y enfocadas. A medida que avanza la investigación, se están desarrollando técnicas como Adaptive Temperature Scaling (ATS) para corregir la degradación de la calibración que a menudo ocurre después del aprendizaje por refuerzo a partir de retroalimentación humana.
• Vehículos autónomos: En la conducción autónoma, los sistemas de detección de objetos deben decidir al instante si un obstáculo es un peatón o una sombra. Calibrar estos modelos de visión asegura que los mecanismos de respaldo, como el frenado de emergencia, se activen de forma fiable cuando la verdadera confianza del modelo cae por debajo de un umbral de seguridad crítico.

Link to this sectionEjemplo de código: Implementación de Temperature Scaling#

The following snippet demonstrates how you might apply a temperature scalar to the raw logits of an Ultralytics YOLO26 classification model using PyTorch.

import torch
import torch.nn.functional as F
from ultralytics import YOLO

# Load a pre-trained Ultralytics YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Assume 'logits' are the raw outputs from the model prior to activation
# (e.g., obtained via a custom forward pass or feature extraction)
logits = torch.tensor([[5.0, 2.0, 0.5]])

# Define an optimized temperature scalar (T > 1 softens the probabilities)
temperature = 1.5

# Apply temperature scaling before passing logits to the softmax function
scaled_logits = logits / temperature
calibrated_probabilities = F.softmax(scaled_logits, dim=1)

print(f"Original Softmax: {F.softmax(logits, dim=1)}")
print(f"Calibrated Probabilities: {calibrated_probabilities}")

Para los equipos que buscan implementar sistemas de visión artificial calibrados sin problemas, la Ultralytics Platform proporciona herramientas robustas para gestionar el seguimiento de experimentos, el ajuste fino de modelos y el monitoreo en tiempo real de la latencia de inferencia. Además, el conocimiento fundamental sobre técnicas de calibración modernas se puede rastrear hasta estudios influyentes como "On Calibration of Modern Neural Networks", que popularizó temperature scaling como un estándar de la industria. Para otras implementaciones prácticas, explora los marcos de calibración de probabilidad de scikit-learn o los modelos con reconocimiento de incertidumbre de TensorFlow.