Hard Negative Mining

La minería de negativos difíciles es una estrategia de datos de entrenamiento que identifica ejemplos negativos que un modelo considera inusualmente convincentes y les presta mayor atención durante el aprendizaje. Un ejemplo negativo no pertenece a la clase de destino, mientras que un negativo difícil se parece lo suficiente a uno positivo como para producir una puntuación alta, una detección incorrecta o un embedding cercano. Al centrarse en estos casos confusos en lugar de mostrar repetidamente al modelo ejemplos de fondo fáciles, la minería de negativos difíciles puede afinar los límites de decisión y reducir los falsos positivos.

Cómo funciona la minería de negativos difíciles#

El proceso suele comenzar con un modelo base entrenado con datos de entrenamiento representativos. A continuación, el modelo evalúa un grupo de candidatos más grande, como imágenes de producción sin etiquetar, escenas exclusivamente negativas o ejemplos dentro de cada lote de entrenamiento. Los candidatos que reciben puntuaciones positivas altas a pesar de ser negativos se seleccionan para su revisión y futuro entrenamiento.

Lo que califica como "difícil" depende de la tarea:

• En la object detection, una región de fondo es difícil cuando el detector la confunde con un objeto de destino.
• En la clasificación, es un ejemplo de clase incorrecta al que se le asigna una alta confianza para la clase de destino.
• En la recuperación o el aprendizaje métrico, es un elemento irrelevante clasificado cerca de la consulta en el espacio de embeddings. La guía de Google sobre el muestreo de negativos para modelos de recomendación describe los negativos difíciles como elementos negativos con puntuaciones altas que afectan fuertemente al gradiente.
• En el aprendizaje de tripletes, el negativo aparece demasiado cerca de un ancla en comparación con su positivo correspondiente. La documentación de PyTorch TripletMarginLoss explica la estructura de ancla-positivo-negativo utilizada para aprender la similitud relativa.

La minería puede ocurrir fuera de línea (offline), ejecutando periódicamente un modelo en un conjunto de datos grande, o en línea (online), seleccionando negativos difíciles del mini-lote actual. Una capa de minería de negativos difíciles de Keras proporciona un ejemplo de selección por consulta basada en los logits de los candidatos.

Por qué importan los negativos difíciles#

La mayoría de los ejemplos negativos son fáciles: es improbable que un cielo vacío confunda a un detector de carretillas elevadoras. Una vez que el modelo clasifica dichos ejemplos correctamente, aportan poca señal de aprendizaje útil. Los negativos difíciles exponen las características visuales o semánticas precisas que el modelo ha malinterpretado.

Son especialmente valiosos cuando las falsas alarmas reducen la precisión. El análisis de precisión-exhaustividad ayuda a determinar si el reentrenamiento realmente reduce los falsos positivos sin causar una caída inaceptable en la exhaustividad, tal como ilustra la guía de precisión-exhaustividad de scikit-learn.

La minería de negativos difíciles difiere de las técnicas relacionadas:

• Muestreo de negativos: selecciona un subconjunto manejable de todos los negativos; la minería de negativos difíciles prioriza los más confusos.
• El aprendizaje activo generalmente selecciona ejemplos inciertos para el etiquetado humano, incluidos los posibles positivos. La minería de negativos difíciles apunta específicamente a negativos confirmados que desafían al modelo.
• La focal loss cambia la forma en que se ponderan los ejemplos dentro de la función de pérdida, mientras que la minería cambia qué ejemplos se seleccionan o enfatizan.
• El reequilibrio de clases aborda las frecuencias de clase desiguales. La guía de conjuntos de datos con desequilibrio de clases de Google cubre el submuestreo y la ponderación, pero los negativos frecuentes no son necesariamente negativos difíciles.
• La aumentación de datos crea variaciones de muestras existentes; no puede introducir de manera fiable un modo de fallo de producción desconocido.

Aplicaciones en el mundo real#

Detección de seguridad en almacenes: Supón que un detector de carretillas elevadoras identifica repetidamente transpaletas, reflejos en estanterías y plataformas elevadoras de tijera como carretillas elevadoras. Estos falsos positivos pueden desencadenar alertas innecesarias y reducir la confianza del operador. Los ingenieros pueden recopilar esas escenas como imágenes negativas sin anotaciones de carretillas elevadoras, añadirlas al conjunto de datos y reentrenar el detector para distinguir el objetivo de equipos similares.

Búsqueda visual de productos: Un cliente busca un calzado de running negro específico, pero el sistema de recuperación posiciona demasiado alto zapatos visualmente similares de otras líneas de productos. Esos productos que no coinciden se convierten en negativos difíciles. Entrenar con ellos anima al modelo de embeddings a preservar diferencias sutiles como la forma de la suela, la ubicación del logotipo y el material. El ejemplo de red siamesa de Keras demuestra cómo las imágenes de ancla, positivo y negativo apoyan el aprendizaje de similitud.

Flujo de trabajo de minería práctica#

Un flujo de trabajo fiable es iterativo:

1. Ejecuta predicciones en datos de validación y producción representativos.
2. Revisa los falsos positivos de alta confianza y los patrones de confusión de clases utilizando el modo de validación de Ultralytics y una matriz de confusión.
3. Confirma que cada candidato sea verdaderamente negativo; las etiquetas incorrectas pueden enseñar al modelo a suprimir objetos reales.
4. Busca muestras relacionadas, elimina duplicados y conserva fondos, puntos de vista y condiciones diversos.
5. Reentrena y luego compara el rendimiento tanto en el conjunto de prueba completo como en una porción dedicada de negativos difíciles utilizando el flujo de trabajo de prueba de modelos de visión por computador.

La búsqueda de similitud de Ultralytics Explorer puede ayudar a encontrar imágenes que se asemejen a un falso positivo conocido:

from ultralytics import Explorer

# Build an embedding index for the example dataset
explorer = Explorer(data="coco128.yaml", model="yolo26n.pt")
explorer.create_embeddings_table()

# Retrieve visually similar candidates for human review
candidates = explorer.get_similar(
    img="https://ultralytics.com/images/bus.jpg",
    limit=12,
)
print(candidates.head())

La similitud por sí sola no prueba que un candidato sea un negativo difícil; un revisor debe verificar su etiqueta de verdad de terreno (ground-truth). Los equipos pueden usar la Ultralytics Platform para organizar imágenes candidatas, anotarlas o corregirlas, entrenar modelos actualizados y supervisar las implementaciones.

Evita seleccionar únicamente los ejemplos absolutamente más difíciles. Algunos pueden estar mal etiquetados, ser ambiguos o ser valores atípicos extremos que desestabilizan el entrenamiento. Una mezcla equilibrada de negativos fáciles, moderadamente difíciles y difíciles generalmente preserva una amplia cobertura al tiempo que enseña al modelo dónde falla su límite actual.