YOLO lizenzieren
Zurück zum Ultralytics-Glossar

Huber Loss

Der Huber-Verlust kombiniert quadratische und absolute Fehler, um den Einfluss von Ausreißern bei der Regression zu verringern, und verwendet dafür einen anpassbaren Delta-Schwellenwert sowie eine Implementierung in Python.

Der Huber-Verlust ist eine Regressions-Verlustfunktion, die kleine Vorhersagefehler quadratisch und große Fehler linear bestraft. Dadurch erhalten Modelle nahe der korrekten Antwort ein glattes Optimierungsziel, während der Einfluss ungewöhnlich großer Fehler verringert wird. Das ist nützlich, wenn die meisten Trainingsbeispiele einem einheitlichen Muster folgen, einige aber extreme Abweichungen enthalten.

Peter J. Huber führte die Funktion 1964 in seiner Arbeit Robuste Schätzung eines Lageparameters ein. Sie ist nach wie vor ein grundlegendes Werkzeug für robuste Schätzungen: Dabei wird ein Modell angepasst, dessen Vorhersagen weniger empfindlich auf Ausreißer reagieren.

So funktioniert der Huber-Verlust#

Ein Residuum ist der vorhergesagte Wert abzüglich des Zielwerts. Der Huber-Verlust verwendet einen positiven Schwellenwert namens Delta, um festzulegen, wie dieses Residuum zum Optimierungsziel beiträgt:

  • Kleine Residuen: Wenn das absolute Residuum höchstens Delta beträgt, ist der Verlust gleich der Hälfte des quadrierten Residuums.
  • Große Residuen: Oberhalb von Delta ist der Verlust gleich Delta × (absolutes Residuum − 0,5 × Delta).

Die beiden Abschnitte treffen sich mit demselben Funktionswert und derselben Steigung. Bei der Rückpropagation entspricht die Ableitung nach der Vorhersage im quadratischen Bereich dem Residuum; außerhalb dieses Bereichs ist ihr Betrag auf Delta begrenzt. Daher führen zunehmend größere Residuen nicht zu zunehmend größeren Vorhersagegradienten. Der lineare Ausläufer begrenzt, wie stark ein extremer Fehler die Anpassung von den übrigen Beobachtungen wegzieht.

Delta wählen und Verluste vergleichen#

Der mittlere quadratische Fehler (MSE) bildet den Mittelwert quadrierter Residuen und gewichtet große Fehler stark. Der mittlere absolute Fehler (MAE), auch L1-Verlust genannt, wenn er elementweise angewendet wird, verwendet durchgehend absolute Residuen und weist bei null eine scharfe Ecke auf. Der Huber-Verlust kombiniert quadratisches Verhalten nahe null mit linearen Ausläufern und bietet so ein stetig differenzierbares Optimierungsziel für den Gradientenabstieg.

Ein größeres Delta erweitert den Bereich des quadratischen Fehlers. Bei einem kleineren Delta fallen mehr Residuen in den gegenüber Ausreißern robusten linearen Bereich, dessen Steigung dadurch geringer ist. Delta hat dieselbe Einheit wie das Residuum; deshalb verändert eine Normalisierung der Zielwerte seine Bedeutung. Werden Zielwerte von Metern in Zentimeter umgerechnet, muss Delta mit 100 multipliziert werden, damit der Übergang relativ zu den Daten gleich bleibt.

Die Wahl von Delta ist ein Problem der Hyperparameteroptimierung: Kandidatenwerte werden anhand der vorgesehenen Regressionsmetrik mit Validierungsdaten verglichen. Der Huber-Verlust eignet sich für Vorhersagen kontinuierlicher Werte; Kreuzentropieverlust und Hinge-Verlust dienen Klassifizierungszielen.

Anwendungen in der Regression und Computer Vision#

Bei der linearen Regression können extreme Beobachtungen eine Anpassung mit quadratischem Fehler vom allgemeinen Datentrend wegziehen. Eine Anpassung mit HuberRegressor an einen erzeugten Regressionsdatensatz mit vier hinzugefügten Ausreißern folgt dem allgemeinen Trend besser als eine Anpassung mit quadratischem Fehler, die von diesen Beobachtungen beeinflusst wird.

Für die Objekterkennung verwendet Ross Girshicks Fast R-CNN den Smooth-L1-Verlust, der dem Huber-Verlust mit Delta gleich 1 entspricht, für die Bounding-Box-Regression. Seine linearen Ausläufer verringern die Empfindlichkeit gegenüber Ausreißern bei Koordinatenfehlern, die andernfalls beim Training große Gradienten erzeugen würden.

Ultralytics YOLO unterstützt benutzerdefinierte Trainingskriterien über die Methode init_criterion() eines Modells, die als Integrationspunkt für benutzerdefinierte Regressionsziele auf Basis des Huber-Verlusts dient. Eine solche Anpassung verändert, wie sich Regressionsfehler auf die Modellaktualisierungen auswirken.

Huber-Verlust in Python#

PyTorch stellt torch.nn.HuberLoss mit konfigurierbarem Delta und Reduktionsverfahren bereit. Nach der Installation von torch mit pip install torch zeigt die folgende Berechnung den Beitrag jedes Residuums:

import torch

predictions = torch.tensor([0.5, 2.0, 10.0])
targets = torch.zeros_like(predictions)

# Behalte die einzelnen Verluste bei, damit der lineare Ausläufer sichtbar ist.
criterion = torch.nn.HuberLoss(delta=1.0, reduction="none")
huber_losses = criterion(predictions, targets)
squared_errors = (predictions - targets).square()

print("Huber losses:", huber_losses.tolist())
print("Squared errors:", squared_errors.tolist())

Die Ausgabe ist [0.125, 1.5, 9.5] gegenüber [0.25, 4.0, 100.0] und zeigt das verringerte Anwachsen der Bestrafung bei großen Residuen. Mit reduction="mean" bildet PyTorch den Mittelwert aller elementweisen Verluste; "sum" addiert sie.

Der Pseudo-Huber-Verlust nähert die Form des Huber-Verlusts mit einem glatten Übergang und stetigen Ableitungen höherer Ordnung an. Smooth L1 verwendet eine andere Skalierungskonvention: In PyTorch ist der Huber-Verlust, wenn beta gleich delta ist, gleich dem Smooth-L1-Verlust multipliziert mit Delta; bei gleichen Schwellenwerten von 1 sind beide identisch.

Lösungen entdecken

Computer Vision im Sport

Computer Vision im Sport

Entdecke, wie Ultralytics YOLO die Sportbildanalyse voranbringt – mit Spieler- und Ballverfolgung, Leistungsanalysen, Erkenntnissen für das Coaching und der Rehabilitation von Athleten.
Mehr erfahren
Computer Vision für Luftbilder

Computer Vision für Luftbilder

Verwandle Drohnen- und Luftbilder mit Ultralytics YOLO in Echtzeit-Erkenntnisse für Landwirtschaft, Aquakultur, Naturschutz und Geodatenanalyse.
Mehr erfahren
Computer Vision in der Luft- und Raumfahrt

Computer Vision in der Luft- und Raumfahrt

Setze Computer Vision in der Luft- und Raumfahrt mit Ultralytics YOLO ein – für Flugzeuginspektionen, die Erkennung von Fremdkörpern auf Start- und Landebahnen, den Bodenbetrieb am Flughafen und die Erkennung von Verbundwerkstofffehlern.
Mehr erfahren
Computer Vision im Sicherheitsbereich

Computer Vision im Sicherheitsbereich

Schütze jeden Standort mit Ultralytics YOLO-Modellen. Vision-KI ermöglicht die Überwachung von Grundstücksgrenzen, die Erkennung von Bedrohungen, die Kennzeichenerkennung und die Sicherheit am Arbeitsplatz.
Mehr erfahren
Computer Vision in der Robotik

Computer Vision in der Robotik

Mach Maschinen mit Ultralytics YOLO-Modellen leistungsfähiger. Vision-KI in der Robotik ermöglicht autonome Navigation, Wahrnehmung, Objektverfolgung und Steuerung in Echtzeit.
Mehr erfahren
Bildverarbeitung in der Logistik

Bildverarbeitung in der Logistik

Optimiere die Logistik mit Ultralytics YOLO-Modellen. Vision AI ermöglicht die Paketprüfung, Sortierung und Fahrzeugverfolgung sowie die Sicherheitsüberwachung von Lagerhäusern in Echtzeit.
Mehr erfahren
Bildverarbeitung im Einzelhandel

Bildverarbeitung im Einzelhandel

Gestalte den Einzelhandel mit Ultralytics YOLO-Modellen neu. Vision AI ermöglicht Bestandsverfolgung, Regalüberwachung und Warteschlangenmanagement und liefert bessere Einblicke in das Kundenverhalten.
Mehr erfahren
Bildverarbeitung im Gesundheitswesen

Bildverarbeitung im Gesundheitswesen

Entwickle Lösungen für das Gesundheitswesen mit Ultralytics YOLO-Modellen. Vision AI ermöglicht im Gesundheitswesen schnellere medizinische Bildgebung, bessere Diagnostik und die Überwachung von Patienten.
Mehr erfahren
Computer Vision in der Fertigung

Computer Vision in der Fertigung

Optimiere die Fertigung mit Ultralytics-YOLO-Modellen. Vision AI ermöglicht Qualitätskontrolle, Fehlererkennung, die Überprüfung der Einhaltung von Vorgaben zu persönlicher Schutzausrüstung und die Automatisierung von Montagelinien.
Mehr erfahren
Computer Vision in der Automobilbranche

Computer Vision in der Automobilbranche

Setze Computer Vision in der Automobilbranche mit Ultralytics-YOLO-Modellen ein. Vision AI verbessert die Verkehrssicherheit, Fahrerassistenz und Fahrzeugautomatisierung – für intelligentere Straßen.
Mehr erfahren
Computer Vision in der Landwirtschaft

Computer Vision in der Landwirtschaft

Setze mit Ultralytics YOLO-Modellen KI für Bildverarbeitung in der intelligenten Landwirtschaft ein. Ermögliche die Überwachung von Nutzpflanzen, die Verfolgung von Nutztieren und Präzisionslandwirtschaft für höhere und nachhaltigere Erträge.
Mehr erfahren

Lass uns gemeinsam die Zukunft der KI gestalten!

Starte deine Reise in die Zukunft des maschinellen Lernens