Hard Negative Mining

L’extraction de négatifs difficiles est une stratégie d’entraînement qui repère les exemples négatifs sur lesquels le modèle se trompe le plus et concentre l’apprentissage sur ceux-ci. Un exemple négatif n’appartient pas à la classe cible ; un négatif difficile est un exemple que le modèle évalue encore comme positif : une portion d’arrière-plan qu’un détecteur encadre comme un objet, ou une image sans rapport qu’un modèle de plongements place près de la requête. La plupart des négatifs sont faciles ; une fois que le modèle les traite correctement, ils contribuent très peu au signal d’apprentissage. Sélectionner les négatifs difficiles affine donc les frontières de décision et réduit les faux positifs.

Fonctionnement de l’extraction des exemples négatifs difficiles#

La difficulté dépend de la tâche :

• En détection d’objets, une région d’arrière-plan est difficile lorsque le détecteur lui attribue un score d’objet.
• En classification, un négatif difficile est un exemple d’une classe incorrecte auquel le modèle attribue une confiance élevée pour la classe cible.
• En recherche et dans les systèmes de recommandation, il s’agit d’un élément non pertinent classé près de la requête, et les négatifs aux scores élevés ont le plus d’influence sur le gradient.
• En apprentissage métrique, il s’agit d’un négatif plus proche d’un point d’ancrage que l’exemple positif correspondant, ce que pénalise une fonction de perte à marge sur triplets.

L’extraction se fait hors ligne ou en ligne. L’extraction hors ligne exécute un modèle entraîné sur un vaste ensemble de données ne contenant que des négatifs, recueille ses faux positifs, les ajoute au jeu d’entraînement, puis réentraîne le modèle. Les détecteurs de piétons classiques à fenêtre glissante étaient entraînés de cette manière : ils balayaient des images sans personne pour repérer les fausses alarmes, puis étaient réentraînés avec ces exemples. L’extraction en ligne sélectionne les exemples difficiles dans chaque lot d’entraînement. SSD classe ses boîtes par défaut négatives selon leur perte de classification et ne conserve que celles dont la perte est la plus élevée, à raison de 3 négatifs au maximum par positif. L’extraction en ligne des exemples difficiles (OHEM) applique la même idée aux propositions de régions des détecteurs à deux étapes. La sélection de SSD tient en quelques lignes :

import torch
import torch.nn.functional as F

torch.manual_seed(0)

# Simulated objectness logits for 8,400 candidate boxes: 20 cover an object, the rest are background
logits = torch.randn(8400) - 3
labels = torch.zeros(8400)
labels[:20] = 1
loss = F.binary_cross_entropy_with_logits(logits, labels, reduction="none")

# Keep every positive plus only the highest-loss negatives, at most 3 per positive
positives = labels == 1
negative_loss = loss.masked_fill(positives, 0)
hard_negatives = negative_loss.topk(3 * int(positives.sum())).indices
kept = torch.cat([positives.nonzero().squeeze(1), hard_negatives])

print(f"boxes in the loss: {len(kept)} of {len(loss)}")
print(f"mean negative loss: all {loss[~positives].mean():.3f}, mined {loss[hard_negatives].mean():.3f}")

La perte conserve 80 des 8 400 boîtes : les 20 positives et les 60 négatives que le modèle évalue le plus comme des objets. La perte moyenne de ces 60 négatifs extraits est de 0,648, contre 0,075 pour l’ensemble des 8 380 négatifs ; le gradient se concentre donc sur l’arrière-plan que le modèle confond réellement.

Extraction de négatifs difficiles et techniques connexes#

• Échantillonnage négatif : sélectionne, souvent au hasard, un sous-ensemble gérable de l’ensemble des négatifs. L’extraction de négatifs difficiles sélectionne les exemples les plus déroutants.
• Perte focale : conserve chaque exemple dans la fonction de perte, mais réduit le poids des exemples bien classés ; les détecteurs à une étape tels que RetinaNet peuvent ainsi être entraînés sur toutes les boîtes candidates sans échantillonnage explicite.
• Apprentissage actif : sélectionne des exemples non étiquetés incertains pour une annotation humaine, y compris d’éventuels positifs. L’extraction de négatifs difficiles cible les exemples déjà confirmés comme négatifs.
• Rééquilibrage des classes : corrige les fréquences inégales des classes par sous-échantillonnage et surpondération. Une classe négative fréquente n’est pas nécessairement difficile.
• Augmentation de données : crée des variantes d’échantillons existants, mais ne peut pas introduire un objet déroutant qui n’a jamais figuré dans le jeu de données.

Applications concrètes#

• Détection des risques en entrepôt : un détecteur de chariots élévateurs qui signale à répétition les transpalettes, les reflets sur les rayonnages et les nacelles à ciseaux érode la confiance des opérateurs en générant de fausses alertes. Recueillir ces scènes sous forme d’images négatives et réentraîner le modèle apprend au détecteur les caractéristiques qui distinguent un chariot élévateur d’équipements similaires.
• Recherche visuelle de produits : lorsqu’une recherche d’une chaussure de course noire précise classe trop haut des chaussures similaires d’autres gammes, ces produits deviennent des négatifs difficiles. Les utiliser pour l’entraînement, par exemple comme négatifs dans les triplets ancre-positif-négatif d’un réseau siamois, apprend au modèle de plongements à préserver des différences subtiles telles que la forme de la semelle, la position du logo et le matériau.

Flux de travail d’extraction hors ligne#

À chaque cycle d’extraction hors ligne, le modèle actuel est exécuté, les éléments qu’il a signalés sont vérifiés, puis les cas confirmés sont réintégrés à l’entraînement :

L’étape de vérification est importante, car un « faux positif » est souvent un objet réel manqué par les annotateurs. L’ajouter en tant que négatif apprendrait au modèle à supprimer de vraies détections. Ultralytics YOLO traite une image d’entraînement dont le fichier d’étiquettes est manquant ou vide comme une image d’arrière-plan : chaque point d’ancrage de cette image reçoit donc un score cible nul, et toute prédiction fiable y est pénalisée. Pour ajouter des négatifs extraits à un jeu de données YOLO26, il suffit ainsi de copier les images sans étiquettes. Les progrès se traduisent par une précision accrue à rappel égal, mesurée sur le jeu de test complet et sur un sous-ensemble dédié aux négatifs difficiles.

L’entraînement avec uniquement les négatifs les plus difficiles peut se retourner contre le modèle. Lors de l’entraînement de plongements faciaux avec FaceNet, sélectionner les négatifs les plus difficiles au début pouvait réduire le modèle à associer tous les visages au même point. Les auteurs ont donc utilisé des négatifs semi-difficiles, plus éloignés du point d’ancrage que le positif, mais situés à l’intérieur de la marge du triplet.