Huber Loss
La pérdida de Huber combina el error cuadrático y el absoluto para reducir la influencia de los valores atípicos en la regresión, con un umbral delta ajustable y una implementación en Python.
La pérdida de Huber es una función de pérdida para regresión que penaliza cuadráticamente los errores de predicción pequeños y linealmente los grandes. Proporciona a los modelos un objetivo suave cerca de la respuesta correcta y, al mismo tiempo, reduce la influencia de los errores inusualmente grandes. Esto la hace útil cuando la mayoría de los ejemplos de entrenamiento siguen un patrón uniforme, pero algunos presentan desviaciones extremas.
Peter J. Huber presentó la función en su artículo de 1964 Estimación robusta de un parámetro de localización. Sigue siendo una herramienta fundamental para la estimación robusta: ajustar un modelo cuyas predicciones sean menos sensibles a los valores atípicos.
Cómo funciona la pérdida de Huber#
Un residuo es el valor predicho menos su valor objetivo. La pérdida de Huber utiliza un umbral positivo llamado delta para determinar cómo contribuye ese residuo al objetivo:
- Residuos pequeños: Cuando el valor absoluto del residuo es como máximo delta, la pérdida es la mitad del residuo al cuadrado.
- Residuos grandes: Si supera delta, la pérdida es delta x (valor absoluto del residuo - 0.5 x delta).
Las dos ramas coinciden en valor y pendiente. Durante la retropropagación, la derivada con respecto a la predicción es igual al residuo en la región cuadrática; fuera de ella, su magnitud queda limitada a delta. Por tanto, los residuos cada vez mayores dejan de producir gradientes de predicción cada vez mayores. La cola lineal limita cuánto puede un error extremo alejar el ajuste de las observaciones restantes.
Elección de delta y comparación de pérdidas#
El error cuadrático medio (MSE) calcula la media de los residuos al cuadrado y da mucha importancia a los errores grandes. El error absoluto medio (MAE), también llamado pérdida L1 cuando se aplica por elemento, utiliza siempre residuos absolutos y presenta un vértice pronunciado en cero. La pérdida de Huber combina un comportamiento cuadrático cerca de cero con colas lineales, lo que proporciona un objetivo continuamente diferenciable para el descenso del gradiente.
Un delta mayor amplía la región de error cuadrático. Un delta menor hace que más residuos entren en la región lineal resistente a los valores atípicos y reduce su pendiente. Delta tiene las mismas unidades que el residuo, por lo que la normalización del objetivo cambia su significado. Para convertir los objetivos de metros a centímetros, hay que multiplicar delta por 100 para conservar la misma transición con respecto a los datos.
La elección de delta es un problema de ajuste de hiperparámetros: los valores candidatos se comparan con datos de validación mediante la métrica de regresión prevista. La pérdida de Huber es adecuada para predicciones de valores continuos; la entropía cruzada y la pérdida hinge se utilizan para objetivos de clasificación.
Aplicaciones en regresión y visión artificial#
En la regresión lineal, las observaciones extremas pueden desviar un ajuste por error cuadrático de la tendencia principal de los datos. Un ajuste con HuberRegressor sobre un conjunto de datos de regresión generado al que se han añadido cuatro valores atípicos sigue la tendencia principal más de cerca que un ajuste por error cuadrático influido por esas observaciones.
Para la detección de objetos, Fast R-CNN de Ross Girshick utiliza la pérdida Smooth L1, equivalente a la pérdida de Huber con delta igual a uno, para la regresión de cuadros delimitadores. Sus colas lineales reducen la sensibilidad a los errores atípicos en las coordenadas, que de otro modo generarían gradientes grandes durante el entrenamiento.
Ultralytics YOLO admite criterios de entrenamiento personalizados mediante el método init_criterion() de un modelo, que ofrece un punto de integración para objetivos de regresión personalizados basados en Huber. Esta personalización cambia la forma en que los errores de regresión contribuyen a las actualizaciones del modelo.
Pérdida de Huber en Python#
PyTorch proporciona torch.nn.HuberLoss con delta y reducción configurables. Después de instalar torch con pip install torch, el siguiente cálculo muestra la contribución de cada residuo:
import torch
predictions = torch.tensor([0.5, 2.0, 10.0])
targets = torch.zeros_like(predictions)
# Conserva las pérdidas individuales para mostrar la cola lineal.
criterion = torch.nn.HuberLoss(delta=1.0, reduction="none")
huber_losses = criterion(predictions, targets)
squared_errors = (predictions - targets).square()
print("Huber losses:", huber_losses.tolist())
print("Squared errors:", squared_errors.tolist())La salida es [0.125, 1.5, 9.5] frente a [0.25, 4.0, 100.0], y muestra el crecimiento reducido de la penalización para los residuos grandes. Con reduction="mean", PyTorch calcula la media de todas las pérdidas por elemento; "sum" las suma.
La pérdida pseudo-Huber aproxima la forma de Huber con una transición suave y derivadas continuas de orden superior. Smooth L1 utiliza una convención de escala distinta: en PyTorch, cuando beta es igual a delta, la pérdida de Huber equivale a la pérdida Smooth L1 multiplicada por delta; son idénticas cuando ambos umbrales son iguales a 1.










