Huber Loss
Der Huber-Verlust kombiniert quadratische und absolute Fehler, um den Einfluss von Ausreißern bei der Regression zu verringern, und verwendet dafür einen anpassbaren Delta-Schwellenwert sowie eine Implementierung in Python.
Der Huber-Verlust ist eine Regressions-Verlustfunktion, die kleine Vorhersagefehler quadratisch und große Fehler linear bestraft. Dadurch erhalten Modelle nahe der korrekten Antwort ein glattes Optimierungsziel, während der Einfluss ungewöhnlich großer Fehler verringert wird. Das ist nützlich, wenn die meisten Trainingsbeispiele einem einheitlichen Muster folgen, einige aber extreme Abweichungen enthalten.
Peter J. Huber führte die Funktion 1964 in seiner Arbeit Robuste Schätzung eines Lageparameters ein. Sie ist nach wie vor ein grundlegendes Werkzeug für robuste Schätzungen: Dabei wird ein Modell angepasst, dessen Vorhersagen weniger empfindlich auf Ausreißer reagieren.
So funktioniert der Huber-Verlust#
Ein Residuum ist der vorhergesagte Wert abzüglich des Zielwerts. Der Huber-Verlust verwendet einen positiven Schwellenwert namens Delta, um festzulegen, wie dieses Residuum zum Optimierungsziel beiträgt:
- Kleine Residuen: Wenn das absolute Residuum höchstens Delta beträgt, ist der Verlust gleich der Hälfte des quadrierten Residuums.
- Große Residuen: Oberhalb von Delta ist der Verlust gleich Delta × (absolutes Residuum − 0,5 × Delta).
Die beiden Abschnitte treffen sich mit demselben Funktionswert und derselben Steigung. Bei der Rückpropagation entspricht die Ableitung nach der Vorhersage im quadratischen Bereich dem Residuum; außerhalb dieses Bereichs ist ihr Betrag auf Delta begrenzt. Daher führen zunehmend größere Residuen nicht zu zunehmend größeren Vorhersagegradienten. Der lineare Ausläufer begrenzt, wie stark ein extremer Fehler die Anpassung von den übrigen Beobachtungen wegzieht.
Delta wählen und Verluste vergleichen#
Der mittlere quadratische Fehler (MSE) bildet den Mittelwert quadrierter Residuen und gewichtet große Fehler stark. Der mittlere absolute Fehler (MAE), auch L1-Verlust genannt, wenn er elementweise angewendet wird, verwendet durchgehend absolute Residuen und weist bei null eine scharfe Ecke auf. Der Huber-Verlust kombiniert quadratisches Verhalten nahe null mit linearen Ausläufern und bietet so ein stetig differenzierbares Optimierungsziel für den Gradientenabstieg.
Ein größeres Delta erweitert den Bereich des quadratischen Fehlers. Bei einem kleineren Delta fallen mehr Residuen in den gegenüber Ausreißern robusten linearen Bereich, dessen Steigung dadurch geringer ist. Delta hat dieselbe Einheit wie das Residuum; deshalb verändert eine Normalisierung der Zielwerte seine Bedeutung. Werden Zielwerte von Metern in Zentimeter umgerechnet, muss Delta mit 100 multipliziert werden, damit der Übergang relativ zu den Daten gleich bleibt.
Die Wahl von Delta ist ein Problem der Hyperparameteroptimierung: Kandidatenwerte werden anhand der vorgesehenen Regressionsmetrik mit Validierungsdaten verglichen. Der Huber-Verlust eignet sich für Vorhersagen kontinuierlicher Werte; Kreuzentropieverlust und Hinge-Verlust dienen Klassifizierungszielen.
Anwendungen in der Regression und Computer Vision#
Bei der linearen Regression können extreme Beobachtungen eine Anpassung mit quadratischem Fehler vom allgemeinen Datentrend wegziehen. Eine Anpassung mit HuberRegressor an einen erzeugten Regressionsdatensatz mit vier hinzugefügten Ausreißern folgt dem allgemeinen Trend besser als eine Anpassung mit quadratischem Fehler, die von diesen Beobachtungen beeinflusst wird.
Für die Objekterkennung verwendet Ross Girshicks Fast R-CNN den Smooth-L1-Verlust, der dem Huber-Verlust mit Delta gleich 1 entspricht, für die Bounding-Box-Regression. Seine linearen Ausläufer verringern die Empfindlichkeit gegenüber Ausreißern bei Koordinatenfehlern, die andernfalls beim Training große Gradienten erzeugen würden.
Ultralytics YOLO unterstützt benutzerdefinierte Trainingskriterien über die Methode init_criterion() eines Modells, die als Integrationspunkt für benutzerdefinierte Regressionsziele auf Basis des Huber-Verlusts dient. Eine solche Anpassung verändert, wie sich Regressionsfehler auf die Modellaktualisierungen auswirken.
Huber-Verlust in Python#
PyTorch stellt torch.nn.HuberLoss mit konfigurierbarem Delta und Reduktionsverfahren bereit. Nach der Installation von torch mit pip install torch zeigt die folgende Berechnung den Beitrag jedes Residuums:
import torch
predictions = torch.tensor([0.5, 2.0, 10.0])
targets = torch.zeros_like(predictions)
# Behalte die einzelnen Verluste bei, damit der lineare Ausläufer sichtbar ist.
criterion = torch.nn.HuberLoss(delta=1.0, reduction="none")
huber_losses = criterion(predictions, targets)
squared_errors = (predictions - targets).square()
print("Huber losses:", huber_losses.tolist())
print("Squared errors:", squared_errors.tolist())Die Ausgabe ist [0.125, 1.5, 9.5] gegenüber [0.25, 4.0, 100.0] und zeigt das verringerte Anwachsen der Bestrafung bei großen Residuen. Mit reduction="mean" bildet PyTorch den Mittelwert aller elementweisen Verluste; "sum" addiert sie.
Der Pseudo-Huber-Verlust nähert die Form des Huber-Verlusts mit einem glatten Übergang und stetigen Ableitungen höherer Ordnung an. Smooth L1 verwendet eine andere Skalierungskonvention: In PyTorch ist der Huber-Verlust, wenn beta gleich delta ist, gleich dem Smooth-L1-Verlust multipliziert mit Delta; bei gleichen Schwellenwerten von 1 sind beide identisch.










