Temperature Scaling

El escalado de temperatura es una técnica de postprocesamiento ampliamente utilizada para calibrar las probabilidades predichas de modelos de Inteligencia Artificial (IA) y Aprendizaje Automático (ML). En el aprendizaje profundo moderno, los modelos suelen mostrar un exceso de confianza, lo que significa que sus probabilidades predichas no reflejan con precisión la verdadera calibración estadística o la probabilidad de acierto. El escalado de temperatura soluciona esto dividiendo las puntuaciones de salida crudas de la red (logits) por un único parámetro escalar aprendido conocido como "temperatura" (T) antes de aplicar la función softmax. Este ajuste suaviza las probabilidades sin alterar la decisión final de clasificación de imágenes, asegurando que la confianza del modelo se alinee estrechamente con su precisión real.

Link to this sectionCómo funciona el escalado de temperatura#

En una red de clasificación estándar, la capa final genera logits crudos, que luego pasan a través de una activación softmax para producir probabilidades que suman uno. Las arquitecturas modernas de aprendizaje profundo, especialmente aquellas optimizadas intensamente con funciones de pérdida como la entropía cruzada, tienden a llevar estos logits a valores extremos para minimizar la pérdida, lo que conduce a un fenómeno donde el modelo se vuelve descalibrado y excesivamente confiado.

El escalado de temperatura introduce un parámetro de temperatura (T) en la ecuación softmax.

• Cuando T = 1, la función softmax se comporta normalmente.
• Cuando T > 1, los logits se reducen, lo que suaviza la distribución de salida, disminuyendo efectivamente la confianza máxima y distribuyendo la masa de probabilidad de manera más uniforme entre todas las clases.
• Cuando T < 1, la distribución se vuelve más nítida, empujando al modelo a tener aún más confianza en su predicción principal.

Al optimizar T en un conjunto de validación designado, los ingenieros minimizan el error de calibración esperado. Este ajuste simple de un solo parámetro es muy favorecido porque requiere una sobrecarga computacional mínima y preserva la precisión original de los pesos del modelo.

Link to this sectionEscalado de temperatura frente a suavizado de etiquetas#

Aunque ambas técnicas tienen como objetivo evitar el sobreajuste y el exceso de confianza, operan en diferentes etapas del ciclo de vida del modelo. El suavizado de etiquetas se aplica durante el entrenamiento. Altera los objetivos de verdad fundamental (por ejemplo, cambiando una etiqueta dura de 1.0 a 0.9) para evitar que el modelo asigne una probabilidad completa a una sola clase. Por el contrario, el escalado de temperatura —y variantes más recientes como Focal Temperature Scaling— son métodos de calibración post-hoc aplicados después de que el entrenamiento se haya completado, lo que significa que modifican las probabilidades de salida de un modelo completamente entrenado sin requerir ningún reentrenamiento.

Link to this sectionAplicaciones en el mundo real#

Una calibración adecuada del modelo es fundamental para la seguridad y la fiabilidad en diversas industrias:

• Diagnóstico médico: En tareas como la detección de tumores cerebrales, una clasificación errónea excesivamente confiada puede tener consecuencias clínicas graves. Usar el escalado de temperatura asegura que el sistema de modelado predictivo produzca probabilidades fiables. Si una predicción de escáner es altamente incierta después del escalado, el sistema puede marcar con confianza la imagen para su revisión manual por parte de un radiólogo. Estudios recientes sobre la calibración de modelos clínicos siguen destacando su valor en entornos de diagnóstico de alto riesgo y restringidos.
• Modelos de lenguaje grandes (LLM): Para los LLM, el escalado de temperatura se utiliza mucho para controlar la estocasticidad de salida y la diversidad de generación, como se ve con el parámetro de temperatura de OpenAI. Las temperaturas altas producen textos más creativos y variados, mientras que las temperaturas bajas generan respuestas deterministas y enfocadas. A medida que avanza la investigación, se están desarrollando técnicas como Adaptive Temperature Scaling (ATS) para corregir la degradación de la calibración que a menudo ocurre después del aprendizaje por refuerzo a partir de la retroalimentación humana.
• Vehículos autónomos: En la conducción autónoma, los sistemas de detección de objetos deben decidir instantáneamente si un obstáculo es un peatón o una sombra. Calibrar estos modelos de visión asegura que los mecanismos de respaldo, como el frenado de emergencia, se activen de manera fiable cuando la verdadera confianza del modelo cae por debajo de un umbral de seguridad crítico.

Link to this sectionEjemplo de código: Implementación del escalado de temperatura#

The following snippet demonstrates how you might apply a temperature scalar to the raw logits of an Ultralytics YOLO26 classification model using PyTorch.

import torch
import torch.nn.functional as F
from ultralytics import YOLO

# Load a pre-trained Ultralytics YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Assume 'logits' are the raw outputs from the model prior to activation
# (e.g., obtained via a custom forward pass or feature extraction)
logits = torch.tensor([[5.0, 2.0, 0.5]])

# Define an optimized temperature scalar (T > 1 softens the probabilities)
temperature = 1.5

# Apply temperature scaling before passing logits to the softmax function
scaled_logits = logits / temperature
calibrated_probabilities = F.softmax(scaled_logits, dim=1)

print(f"Original Softmax: {F.softmax(logits, dim=1)}")
print(f"Calibrated Probabilities: {calibrated_probabilities}")

Para los equipos que buscan implementar sistemas de visión artificial calibrados sin problemas, la Plataforma Ultralytics proporciona herramientas robustas para gestionar el seguimiento de experimentos, ajustar modelos y monitorear la latencia de inferencia en tiempo real. Además, el conocimiento fundamental sobre las técnicas de calibración modernas se puede rastrear hasta estudios influyentes como "On Calibration of Modern Neural Networks", que popularizó el escalado de temperatura como un estándar de la industria. Para otras implementaciones prácticas, explora los marcos de calibración de probabilidad de scikit-learn o los modelos conscientes de la incertidumbre de TensorFlow.