Huber Loss
La perte de Huber combine l’erreur quadratique et l’erreur absolue afin de réduire l’influence des valeurs aberrantes en régression, grâce à un seuil delta ajustable et à une implémentation Python.
La perte de Huber est une fonction de perte de régression qui pénalise quadratiquement les petites erreurs de prédiction et linéairement les grandes erreurs. Elle offre aux modèles un objectif lisse à proximité de la réponse correcte tout en réduisant l’influence des erreurs exceptionnellement grandes. Elle est donc utile lorsque la plupart des exemples d’entraînement suivent une tendance cohérente, mais que certains présentent des écarts extrêmes.
Peter J. Huber a introduit cette fonction dans son article de 1964, Estimation robuste d’un paramètre de position. Elle demeure un outil fondamental pour l’estimation robuste : ajuster un modèle dont les prédictions sont moins sensibles aux valeurs aberrantes.
Fonctionnement de la perte de Huber#
Un résidu est la valeur prédite moins sa cible. La perte de Huber utilise un seuil positif appelé delta pour déterminer la contribution de ce résidu à l’objectif :
- Petits résidus : Lorsque la valeur absolue du résidu est inférieure ou égale à delta, la perte correspond à la moitié du résidu au carré.
- Grands résidus : Au-delà de delta, la perte vaut delta x (valeur absolue du résidu - 0.5 x delta).
Les deux branches se rejoignent avec la même valeur et la même pente. Pendant la rétropropagation, la dérivée par rapport à la prédiction est égale au résidu dans la région quadratique ; en dehors de celle-ci, sa valeur absolue est plafonnée à delta. Ainsi, les résidus de plus en plus grands ne produisent plus de gradients de prédiction de plus en plus importants. La partie linéaire limite la force avec laquelle une erreur extrême éloigne l’ajustement des autres observations.
Choisir delta et comparer les pertes#
L’erreur quadratique moyenne (MSE) calcule la moyenne des résidus au carré et accorde une forte importance aux grandes erreurs. L’erreur absolue moyenne (MAE), également appelée perte L1 lorsqu’elle est appliquée élément par élément, utilise les résidus absolus partout et présente un angle marqué en zéro. La perte de Huber combine un comportement quadratique près de zéro et des queues linéaires, offrant ainsi un objectif continûment différentiable pour la descente de gradient.
Une valeur plus élevée de delta étend la région d’erreur quadratique. Une valeur plus faible de delta fait passer davantage de résidus dans la région linéaire résistante aux valeurs aberrantes et en réduit la pente. Delta a les mêmes unités que le résidu ; la normalisation des cibles en modifie donc la signification. Convertir les cibles de mètres en centimètres nécessite de multiplier delta par 100 pour conserver la même transition par rapport aux données.
Le choix de delta relève de l’optimisation des hyperparamètres : les valeurs candidates sont comparées sur les données de validation à l’aide de la métrique de régression prévue. La perte de Huber convient aux prédictions de valeurs continues ; la perte d’entropie croisée et la perte hinge répondent aux objectifs de classification.
Applications en régression et en vision par ordinateur#
En régression linéaire, les observations extrêmes peuvent éloigner un ajustement fondé sur l’erreur quadratique de la tendance générale des données. Un ajustement avec HuberRegressor sur un jeu de données de régression généré auquel quatre valeurs aberrantes ont été ajoutées suit la tendance générale de plus près qu’un ajustement fondé sur l’erreur quadratique influencé par ces observations.
Pour la détection d’objets, le Fast R-CNN de Ross Girshick utilise la perte Smooth L1, équivalente à une perte de Huber avec delta égal à 1, pour la régression des boîtes englobantes. Ses queues linéaires réduisent la sensibilité aux erreurs de coordonnées aberrantes, qui produiraient autrement de grands gradients pendant l’entraînement.
Ultralytics YOLO prend en charge les critères d’entraînement personnalisés par l’intermédiaire de la méthode init_criterion() d’un modèle, qui offre un point d’intégration pour des objectifs de régression personnalisés fondés sur la perte de Huber. Cette personnalisation modifie la contribution des erreurs de régression aux mises à jour du modèle.
Perte de Huber en Python#
PyTorch fournit torch.nn.HuberLoss, avec delta et réduction configurables. Après avoir installé torch avec pip install torch, le calcul suivant montre la contribution de chaque résidu :
import torch
predictions = torch.tensor([0.5, 2.0, 10.0])
targets = torch.zeros_like(predictions)
# Conserve les pertes individuelles pour faire apparaître la queue linéaire.
criterion = torch.nn.HuberLoss(delta=1.0, reduction="none")
huber_losses = criterion(predictions, targets)
squared_errors = (predictions - targets).square()
print("Huber losses:", huber_losses.tolist())
print("Squared errors:", squared_errors.tolist())La sortie est [0.125, 1.5, 9.5] contre [0.25, 4.0, 100.0], ce qui montre la croissance réduite de la pénalité pour les grands résidus. Avec reduction="mean", PyTorch calcule la moyenne de toutes les pertes élément par élément ; "sum" les additionne.
La perte pseudo-Huber approche la forme de la perte de Huber avec une transition lisse et des dérivées d’ordre supérieur continues. Smooth L1 utilise une convention d’échelle différente : dans PyTorch, lorsque beta est égal à delta, la perte de Huber est égale à la perte Smooth L1 multipliée par delta ; elles sont identiques lorsque les deux seuils sont égaux à 1.










