Hard Negative Mining

A mineração de exemplos negativos difíceis (hard negative mining) é uma estratégia de dados de treinamento que identifica exemplos negativos que um modelo considera incomum convincentes e lhes dá maior atenção durante o aprendizado. Um exemplo negativo não pertence à classe alvo, enquanto um hard negative assemelha-se a um positivo de perto o suficiente para produzir uma pontuação alta, detecção incorreta ou um embedding próximo. Ao se concentrar nesses casos confusos em vez de mostrar repetidamente ao modelo exemplos de fundo fáceis, a mineração de negativos difíceis pode afinar os limites de decisão e reduzir falsos positivos.

Como funciona a mineração de negativos difíceis#

O processo geralmente começa com um modelo base treinado em dados de treinamento representativos. Em seguida, o modelo avalia um pool maior de candidatos, como imagens de produção não rotuladas, cenas estritamente negativas ou exemplos dentro de cada lote de treinamento. Candidatos que recebem altas pontuações positivas apesar de serem negativos são selecionados para revisão e treinamento futuro.

O que qualifica como "difícil" depende da tarefa:

• Na detecção de objetos, uma região de fundo é considerada difícil quando o detector a confunde com um objeto alvo.
• Na classificação, trata-se de um exemplo de classe incorreta ao qual é atribuída alta confiança para a classe alvo.
• Na recuperação ou aprendizado de métricas, é um item irrelevante classificado próximo à consulta no espaço de embedding. A orientação do Google sobre amostragem de negativos para modelos de recomendação descreve negativos difíceis como itens negativos de alta pontuação que afetam fortemente o gradiente.
• No aprendizado de tripletas (triplet learning), o negativo aparece muito próximo a uma âncora em comparação com seu positivo correspondente. A documentação do PyTorch TripletMarginLoss explica a estrutura âncora-positivo-negativo usada para aprender a similaridade relativa.

A mineração pode ocorrer offline, executando periodicamente um modelo em um grande conjunto de dados, ou online, selecionando negativos difíceis do mini-lote atual. Uma camada de mineração de negativos difíceis do Keras fornece um exemplo de seleção por consulta com base em logits de candidatos.

Por que os negativos difíceis são importantes#

A maioria dos exemplos negativos é fácil: um céu vazio dificilmente confundirá um detector de empilhadeiras. Uma vez que o modelo classifica esses exemplos corretamente, eles contribuem pouco com sinais de aprendizado úteis. Os negativos difíceis expõem as características visuais ou semânticas exatas que o modelo compreendeu mal.

Eles são especialmente valiosos quando alarmes falsos reduzem a precisão. A análise de precisão e revocação (precision-recall) ajuda a determinar se o retreinamento realmente reduz os falsos positivos sem causar uma queda inaceitável na revocação (recall), conforme ilustrado pelo guia de precisão-revocação do scikit-learn.

A mineração de negativos difíceis difere de técnicas relacionadas:

• Amostragem de negativos seleciona um subconjunto gerenciável de todos os negativos; a mineração de negativos difíceis prioriza os mais confusos.
• Aprendizado ativo geralmente seleciona exemplos incertos para rotulagem humana, incluindo possíveis positivos. A mineração de negativos difíceis visa especificamente negativos confirmados que desafiam o modelo.
• Focal loss altera a forma como os exemplos são ponderados dentro da função de perda, enquanto a mineração altera quais exemplos são selecionados ou enfatizados.
• Rebalanceamento de classes aborda frequências de classes desiguais. A orientação de conjuntos de dados com desbalanceamento de classes do Google cobre subamostragem e ponderação, mas negativos frequentes não são necessariamente negativos difíceis.
• Aumento de dados cria variações de amostras existentes; ele não consegue introduzir de forma confiável um modo de falha de produção desconhecido.

Aplicações no Mundo Real#

Detecção de segurança em armazéns: Suponha que um detector de empilhadeiras identifique repetidamente paleteiras, reflexos em prateleiras e plataformas elevatórias como empilhadeiras. Esses falsos positivos podem disparar alertas desnecessários e reduzir a confiança do operador. Os engenheiros podem coletar essas cenas como imagens negativas sem anotações de empilhadeiras, adicioná-las ao conjunto de dados e retreinar o detector para distinguir o alvo de equipamentos semelhantes.

Busca visual de produtos: Um cliente procura um tênis de corrida preto específico, mas o sistema de recuperação classifica sapatos visualmente semelhantes de diferentes linhas de produtos com muita ênfase. Esses produtos que não correspondem tornam-se negativos difíceis. O treinamento com base neles incentiva o modelo de embedding a preservar diferenças sutis, como o formato da sola, a posição do logotipo e o material. O exemplo de rede siamesa do Keras demonstra como imagens de âncora, positivas e negativas apoiam o aprendizado de similaridade.

Fluxo de trabalho prático de mineração#

Um fluxo de trabalho confiável é iterativo:

1. Execute previsões em dados representativos de validação e produção.
2. Revise falsos positivos de alta confiança e padrões de confusão de classes usando o modo de validação Ultralytics e uma matriz de confusão.
3. Confirme se cada candidato é verdadeiramente negativo; rótulos incorretos podem ensinar o modelo a suprimir objetos reais.
4. Encontre amostras relacionadas, remova duplicatas e retenha diversos fundos, pontos de vista e condições.
5. Retreine e, em seguida, compare o desempenho tanto no conjunto de teste completo quanto em uma fatia dedicada de negativos difíceis usando o fluxo de trabalho de teste de modelos de visão computacional.

A busca por similaridade do Ultralytics Explorer pode ajudar a trazer à tona imagens que se parecem com um falso positivo conhecido:

from ultralytics import Explorer

# Build an embedding index for the example dataset
explorer = Explorer(data="coco128.yaml", model="yolo26n.pt")
explorer.create_embeddings_table()

# Retrieve visually similar candidates for human review
candidates = explorer.get_similar(
    img="https://ultralytics.com/images/bus.jpg",
    limit=12,
)
print(candidates.head())

A similaridade por si só não prova que um candidato é um negativo difícil; um revisor deve verificar seu rótulo de verdade fundamental (ground truth). As equipes podem usar a Ultralytics Platform para organizar imagens candidatas, anotá-las ou corrigi-las, treinar modelos atualizados e monitorar implantações.

Evite selecionar apenas os exemplos absolutamente mais difíceis. Alguns podem estar incorretamente rotulados, ser ambíguos ou representar valores discrepantes extremos que desestabilizam o treinamento. Uma mistura equilibrada de negativos fáceis, moderadamente difíceis e difíceis geralmente preserva uma ampla cobertura enquanto ensina ao modelo onde sua fronteira atual falha.