Hard Negative Mining

Hard-Negative-Mining ist eine Trainingsstrategie, bei der die negativen Beispiele ermittelt werden, bei denen ein Modell am häufigsten Fehler macht, und das Lernen auf diese Beispiele konzentriert wird. Ein negatives Beispiel gehört nicht zur Zielklasse. Ein Hard Negative ist ein Beispiel, das vom Modell trotzdem wie ein positives bewertet wird: etwa ein Hintergrundbereich, den ein Detektor als Objekt markiert, oder ein nicht zugehöriges Bild, das ein Embedding-Modell nahe an der Anfrage einordnet. Die meisten negativen Beispiele sind einfach und liefern kaum noch Lernsignale, sobald das Modell sie beherrscht. Durch die Auswahl schwieriger negativer Beispiele werden Entscheidungsgrenzen präziser und Fehlalarme reduziert.

Funktionsweise von Hard-Negative-Mining#

Was als schwierig gilt, hängt von der Aufgabe ab:

• Bei der Objekterkennung ist ein Hintergrundbereich schwierig, wenn der Detektor ihn als Objekt bewertet.
• Bei der Klassifizierung ist ein schwieriges negatives Beispiel ein Beispiel aus der falschen Klasse, dem eine hohe Konfidenz für die Zielklasse zugewiesen wird.
• Beim Abruf und in Empfehlungssystemen handelt es sich um einen irrelevanten Eintrag, der nahe an der Anfrage eingestuft wird. Negative Beispiele mit hohen Bewertungen haben den größten Einfluss auf den Gradienten.
• Beim metrischen Lernen ist es ein negatives Beispiel, das näher am Anker liegt als das passende positive Beispiel. Eine Triplet-Margin-Verlustfunktion bestraft dies.

Das Mining erfolgt offline oder online. Beim Offline-Mining wird ein trainiertes Modell auf einen großen Pool ausschließlich negativer Daten angewendet. Die dabei gefundenen Fehlalarme werden gesammelt, dem Trainingssatz hinzugefügt und erneut trainiert. Klassische Fußgängerdetektoren mit gleitendem Fenster wurden auf diese Weise trainiert: Bilder ohne Personen wurden nach Fehlalarmen durchsucht und das Modell anschließend mit diesen Beispielen weitertrainiert. Beim Online-Mining werden schwierige Beispiele in jedem Trainingsbatch ausgewählt. SSD sortiert seine negativen Standardboxen nach dem Klassifikationsverlust und behält nur diejenigen mit dem höchsten Verlust, höchstens drei negative Beispiele pro positivem. Online-Mining schwieriger Beispiele (OHEM) wendet dieselbe Idee auf die Regionenvorschläge von zweistufigen Detektoren an. Die Auswahl bei SSD lässt sich mit wenigen Zeilen umsetzen:

import torch
import torch.nn.functional as F

torch.manual_seed(0)

# Simulated objectness logits for 8,400 candidate boxes: 20 cover an object, the rest are background
logits = torch.randn(8400) - 3
labels = torch.zeros(8400)
labels[:20] = 1
loss = F.binary_cross_entropy_with_logits(logits, labels, reduction="none")

# Keep every positive plus only the highest-loss negatives, at most 3 per positive
positives = labels == 1
negative_loss = loss.masked_fill(positives, 0)
hard_negatives = negative_loss.topk(3 * int(positives.sum())).indices
kept = torch.cat([positives.nonzero().squeeze(1), hard_negatives])

print(f"boxes in the loss: {len(kept)} of {len(loss)}")
print(f"mean negative loss: all {loss[~positives].mean():.3f}, mined {loss[hard_negatives].mean():.3f}")

Die Verlustfunktion berücksichtigt 80 der 8.400 Boxen: die 20 positiven und die 60 negativen Boxen, die das Modell am ehesten für Objekte hält. Der durchschnittliche Verlust dieser 60 ausgewählten negativen Beispiele beträgt 0,648, gegenüber 0,075 bei allen 8.380 negativen Beispielen. So konzentriert sich der Gradient auf den Hintergrund, den das Modell tatsächlich verwechselt.

Hard-Negative-Mining und verwandte Verfahren#

• Negativ-Sampling: Wählt eine handhabbare Teilmenge aller negativen Beispiele aus, häufig nach dem Zufallsprinzip. Hard-Negative-Mining wählt die am schwersten zu unterscheidenden Beispiele.
• Focal Loss: Berücksichtigt alle Beispiele in der Verlustfunktion, gewichtet die korrekt klassifizierten jedoch geringer. So konnten einstufige Detektoren wie RetinaNet mit allen Kandidatenboxen trainiert werden, ohne sie ausdrücklich auszuwählen.
• Aktives Lernen: Wählt unsichere, unbeschriftete Beispiele für die Annotation durch Menschen aus, darunter auch mögliche positive Beispiele. Hard-Negative-Mining konzentriert sich auf Beispiele, die bereits als negativ bestätigt wurden.
• Klassen ausgleichen: Gleicht ungleiche Klassenhäufigkeiten durch Herunterstichproben und höhere Gewichtung aus. Eine häufig vorkommende negative Klasse ist nicht zwangsläufig schwierig.
• Datenerweiterung: Erzeugt Varianten vorhandener Beispiele, kann aber kein schwer zu unterscheidendes Objekt hinzufügen, das im Datensatz bisher nicht vorkam.

Anwendungen in der Praxis#

• Sicherheitserkennung in Lagerhallen: Ein Gabelstaplerdetektor, der wiederholt Hubwagen, Spiegelungen in Regalen und Scherenhebebühnen fälschlich meldet, untergräbt mit seinen Fehlalarmen das Vertrauen der Bedienenden. Werden solche Szenen als negative Bilder gesammelt und zum Weitertraining verwendet, lernt der Detektor, welche Merkmale einen Gabelstapler von ähnlichen Geräten unterscheiden.
• Visuelle Produktsuche: Wenn bei der Suche nach einem bestimmten schwarzen Laufschuh ähnliche Schuhe anderer Produktlinien zu hoch eingestuft werden, werden diese Produkte zu schwierigen negativen Beispielen. Das Training mit diesen Produkten, etwa als negative Beispiele in den Anker-Positiv-Negativ-Tripeln eines Siamese-Netzwerks, lehrt das Embedding-Modell, feine Unterschiede bei Sohlenform, Logoplatzierung und Material zu erkennen.

Ablauf des Offline-Minings#

Bei jedem Durchlauf des Offline-Minings wird das aktuelle Modell ausgeführt, seine markierten Beispiele werden überprüft und bestätigte Fälle werden wieder in das Training aufgenommen:

Der Prüfschritt ist wichtig, weil ein „Fehlalarm“ oft ein echtes Objekt ist, das Annotierende übersehen haben. Wird es als negatives Beispiel hinzugefügt, lernt das Modell, echte Erkennungen zu unterdrücken. Ultralytics YOLO behandelt ein Trainingsbild mit einer fehlenden oder leeren Label-Datei als Hintergrundbild. Jeder Ankerpunkt darauf erhält daher den Zielwert null, und jede sichere Vorhersage an dieser Stelle wird bestraft. Deshalb lassen sich ausgelesene negative Beispiele zu einem YOLO26-Datensatz hinzufügen, indem die Bilder ohne Labels hineinkopiert werden. Der Fortschritt zeigt sich in einer höheren Präzision bei gleichbleibendem Recall. Beides wird anhand des vollständigen Testdatensatzes und einer eigens zusammengestellten Teilmenge schwieriger negativer Beispiele verfolgt.

Das Training ausschließlich mit den schwierigsten negativen Beispielen kann nach hinten losgehen. Beim FaceNet-Training von Gesichts-Embeddings konnte die Auswahl der schwierigsten negativen Beispiele zu Beginn dazu führen, dass das Modell jedes Gesicht auf denselben Punkt abbildete. Deshalb trainierten die Autorinnen und Autoren mit mittelschweren negativen Beispielen. Diese liegen weiter vom Anker entfernt als das positive Beispiel, aber noch innerhalb der Triplet-Marge.