Hard Negative Mining

La mise en correspondance des négatifs difficiles est une stratégie de données d'entraînement qui identifie les exemples négatifs qu'un modèle trouve exceptionnellement convaincants et leur accorde davantage d'attention pendant l'apprentissage. Un exemple négatif n'appartient pas à la classe cible, tandis qu'un négatif difficile ressemble suffisamment à un exemple positif pour produire un score élevé, une détection incorrecte ou un embedding proche. En se concentrant sur ces cas trompeurs plutôt qu'en présentant répétitivement au modèle des exemples faciles d'arrière-plan, la mise en correspondance des négatifs difficiles peut affiner les frontières de décision et réduire les faux positifs.

Fonctionnement de la mise en correspondance des négatifs difficiles#

Le processus commence généralement par un modèle de référence entraîné sur des données d'entraînement représentatives. Le modèle évalue ensuite un ensemble plus vaste de candidats, comme des images de production non étiquetées, des scènes contenant uniquement des négatifs ou des exemples au sein de chaque lot d'entraînement. Les candidats qui reçoivent des scores positifs élevés malgré leur caractère négatif sont sélectionnés pour être examinés et utilisés lors des futurs entraînements.

Ce qui est considéré comme « difficile » dépend de la tâche :

• En détection d'objets, une région d'arrière-plan est difficile lorsque le détecteur la prend pour un objet cible.
• En classification, il s'agit d'un exemple de classe incorrecte auquel est attribuée une forte confiance pour la classe cible.
• En recherche ou en apprentissage métrique, il s'agit d'un élément non pertinent classé à proximité de la requête dans l'espace des embeddings. Les recommandations de Google sur l'échantillonnage négatif pour les modèles de recommandation décrivent les négatifs difficiles comme des éléments négatifs obtenant des scores élevés et influençant fortement le gradient.
• Dans l'apprentissage par triplets, le négatif apparaît trop proche d'une ancre par rapport à son positif correspondant. La documentation PyTorch de TripletMarginLoss explique la structure ancre-positif-négatif utilisée pour apprendre la similarité relative.

La sélection peut s'effectuer hors ligne, en exécutant périodiquement un modèle sur un vaste jeu de données, ou en ligne, en sélectionnant les négatifs difficiles du mini-lot actuel. Une couche Keras de sélection des négatifs difficiles fournit un exemple de sélection par requête fondée sur les logits des candidats.

Pourquoi les négatifs difficiles sont importants#

La plupart des exemples négatifs sont faciles : un ciel vide a peu de chances de tromper un détecteur de chariots élévateurs. Une fois que le modèle classe correctement ces exemples, ils apportent peu de signal d'apprentissage utile. Les négatifs difficiles révèlent les caractéristiques visuelles ou sémantiques précises que le modèle a mal comprises.

Ils sont particulièrement utiles lorsque les fausses alertes réduisent la précision. L'analyse précision-rappel aide à déterminer si le réentraînement réduit réellement les faux positifs sans entraîner une baisse inacceptable du rappel, comme l'illustre le guide de scikit-learn sur la précision et le rappel.

La mise en correspondance des négatifs difficiles se distingue des techniques apparentées :

• L'échantillonnage négatif sélectionne un sous-ensemble gérable de tous les négatifs ; la mise en correspondance des négatifs difficiles donne la priorité aux plus trompeurs.
• L'apprentissage actif sélectionne généralement les exemples incertains pour qu'ils soient étiquetés par des humains, y compris les positifs potentiels. La mise en correspondance des négatifs difficiles cible spécifiquement les négatifs confirmés qui mettent le modèle en difficulté.
• La focal loss modifie la pondération des exemples au sein de la fonction de perte, tandis que la sélection des négatifs difficiles modifie les exemples sélectionnés ou mis en avant.
• Le rééquilibrage des classes traite les fréquences de classes inégales. Le guide de Google sur les jeux de données déséquilibrés entre classes couvre le sous-échantillonnage et la pondération, mais les négatifs fréquents ne sont pas nécessairement des négatifs difficiles.
• L'augmentation des données crée des variations d'échantillons existants ; elle ne peut pas introduire de manière fiable un mode de défaillance inconnu en production.

Applications concrètes#

Détection de sécurité dans un entrepôt : supposons qu'un détecteur de chariots élévateurs identifie régulièrement des transpalettes, des reflets de rayonnages et des plateformes élévatrices à ciseaux comme des chariots élévateurs. Ces faux positifs peuvent déclencher des alertes inutiles et réduire la confiance des opérateurs. Les ingénieurs peuvent collecter ces scènes comme images négatives sans annotations de chariots élévateurs, les ajouter au jeu de données, puis réentraîner le détecteur afin qu'il distingue la cible des équipements similaires.

Recherche visuelle de produits : un client recherche une chaussure de course noire spécifique, mais le système de recherche classe trop haut des chaussures visuellement similaires provenant de différentes gammes de produits. Ces produits qui ne correspondent pas à la recherche deviennent des négatifs difficiles. Les utiliser pour l'entraînement encourage le modèle d'embedding à préserver des différences subtiles telles que la forme de la semelle, l'emplacement du logo et le matériau. L'exemple de réseau siamois Keras montre comment des images d'ancre, positives et négatives favorisent l'apprentissage de la similarité.

Flux de travail pratique pour la sélection des négatifs difficiles#

Un flux de travail fiable est itératif :

1. Exécute des prédictions sur des données de validation et de production représentatives.
2. Examine les faux positifs à forte confiance et les tendances de confusion entre classes à l'aide du mode de validation Ultralytics et d'une matrice de confusion.
3. Confirme que chaque candidat est réellement négatif ; des étiquettes incorrectes peuvent apprendre au modèle à supprimer de vrais objets.
4. Trouve les échantillons associés, supprime les doublons et conserve une diversité d'arrière-plans, de points de vue et de conditions.
5. Réentraîne le modèle, puis compare les performances à la fois sur l'ensemble de test complet et sur un sous-ensemble dédié aux négatifs difficiles à l'aide du flux de travail de test des modèles de vision par ordinateur.

La recherche de similarité d'Ultralytics Explorer peut aider à faire ressortir des images ressemblant à un faux positif connu :

from ultralytics import Explorer

# Build an embedding index for the example dataset
explorer = Explorer(data="coco128.yaml", model="yolo26n.pt")
explorer.create_embeddings_table()

# Retrieve visually similar candidates for human review
candidates = explorer.get_similar(
    img="https://ultralytics.com/images/bus.jpg",
    limit=12,
)
print(candidates.head())

La similarité seule ne prouve pas qu'un candidat est un négatif difficile ; un évaluateur doit vérifier son étiquette de vérité terrain. Les équipes peuvent utiliser Ultralytics Platform pour organiser les images candidates, les annoter ou les corriger, entraîner des modèles mis à jour et surveiller les déploiements.

Évite de sélectionner uniquement les exemples les plus difficiles. Certains peuvent être mal étiquetés, ambigus ou constituer des valeurs aberrantes extrêmes qui déstabilisent l'entraînement. Un mélange équilibré de négatifs faciles, moyennement difficiles et difficiles préserve généralement une couverture étendue tout en apprenant au modèle où sa frontière actuelle échoue.