Hard Negative Mining

A mineração de negativos difíceis é uma estratégia de dados de treino que identifica exemplos negativos que o modelo considera invulgarmente convincentes e lhes dá maior atenção durante a aprendizagem. Um exemplo negativo não pertence à classe-alvo, enquanto um negativo difícil se assemelha suficientemente a um positivo para produzir uma pontuação elevada, uma deteção incorreta ou um embedding próximo. Ao concentrar-se nestes casos confusos em vez de mostrar repetidamente ao modelo exemplos fáceis de fundo, a mineração de negativos difíceis pode aperfeiçoar as fronteiras de decisão e reduzir os falsos positivos.

Como funciona a mineração de negativos difíceis#

O processo começa normalmente com um modelo de referência treinado com dados de treino representativos. Em seguida, o modelo avalia um conjunto maior de candidatos, como imagens de produção não anotadas, cenários apenas com negativos ou exemplos dentro de cada lote de treino. Os candidatos que recebem pontuações positivas elevadas apesar de serem negativos são selecionados para revisão e treino futuro.

O que se qualifica como “difícil” depende da tarefa:

• Na deteção de objetos, uma região de fundo é difícil quando o detetor a confunde com um objeto-alvo.
• Na classificação, é um exemplo da classe errada ao qual é atribuída uma confiança elevada para a classe-alvo.
• Na recuperação ou aprendizagem métrica, é um item irrelevante classificado próximo da consulta no espaço de embeddings. As orientações da Google sobre amostragem negativa para modelos de recomendação descrevem os negativos difíceis como itens negativos com pontuações elevadas que afetam fortemente o gradiente.
• Na aprendizagem por triplos, o negativo aparece demasiado próximo de uma âncora em comparação com o seu positivo correspondente. A documentação de PyTorch TripletMarginLoss explica a estrutura âncora-positivo-negativo utilizada para aprender a similaridade relativa.

A mineração pode ocorrer offline, executando periodicamente um modelo num conjunto de dados grande, ou online, selecionando negativos difíceis do minib lote atual. Uma camada de mineração de negativos difíceis do Keras fornece um exemplo de seleção por consulta com base nos logits dos candidatos.

Porque são importantes os negativos difíceis#

A maioria dos exemplos negativos é fácil: é improvável que um céu vazio confunda um detetor de empilhadores. Quando o modelo classifica corretamente esses exemplos, eles contribuem com poucos sinais úteis para a aprendizagem. Os negativos difíceis expõem as características visuais ou semânticas específicas que o modelo interpretou incorretamente.

São especialmente valiosos quando os falsos alarmes reduzem a precisão. A análise de precisão-recall ajuda a determinar se o novo treino reduz efetivamente os falsos positivos sem causar uma diminuição inaceitável do recall, conforme ilustrado pelo guia de precisão-recall do scikit-learn.

A mineração de negativos difíceis difere de técnicas relacionadas:

• A amostragem negativa seleciona um subconjunto gerível de todos os negativos; a mineração de negativos difíceis dá prioridade aos mais confusos.
• A aprendizagem ativa seleciona geralmente exemplos incertos para anotação humana, incluindo possíveis positivos. A mineração de negativos difíceis visa especificamente negativos confirmados que desafiam o modelo.
• A focal loss altera a forma como os exemplos são ponderados dentro da função de perda, enquanto a mineração altera quais exemplos são selecionados ou enfatizados.
• O reequilíbrio de classes aborda frequências de classes desiguais. As orientações da Google sobre conjuntos de dados desequilibrados entre classes abrangem a subamostragem e a ponderação, mas os negativos frequentes não são necessariamente negativos difíceis.
• A aumento de dados cria variações de amostras existentes; não consegue introduzir de forma fiável um modo de falha desconhecido em produção.

Aplicações no mundo real#

Deteção de segurança em armazéns: suponha que um detetor de empilhadores identifica repetidamente porta-paletes, reflexos de estantes e plataformas elevatórias como empilhadores. Estes falsos positivos podem desencadear alertas desnecessários e reduzir a confiança dos operadores. Os engenheiros podem recolher essas cenas como imagens negativas sem anotações de empilhadores, adicioná-las ao conjunto de dados e voltar a treinar o detetor para distinguir o alvo de equipamentos semelhantes.

Pesquisa visual de produtos: um cliente pesquisa umas sapatilhas de corrida pretas específicas, mas o sistema de recuperação classifica demasiado alto sapatilhas visualmente semelhantes de linhas de produtos diferentes. Esses produtos que não correspondem tornam-se negativos difíceis. O treino com esses exemplos incentiva o modelo de embeddings a preservar diferenças subtis, como o formato da sola, a posição do logótipo e o material. O exemplo de rede siamesa do Keras demonstra como imagens de âncora, positivas e negativas suportam a aprendizagem de similaridade.

Fluxo de trabalho prático de mineração#

Um fluxo de trabalho fiável é iterativo:

1. Execute previsões em dados representativos de validação e de produção.
2. Analise falsos positivos com elevada confiança e padrões de confusão entre classes utilizando o modo de validação da Ultralytics e uma matriz de confusão.
3. Confirme que cada candidato é realmente negativo; etiquetas incorretas podem ensinar o modelo a suprimir objetos reais.
4. Encontre amostras relacionadas, remova duplicados e mantenha fundos, perspetivas e condições diversificados.
5. Volte a treinar e, em seguida, compare o desempenho tanto no conjunto de teste completo como num subconjunto dedicado de negativos difíceis, utilizando o fluxo de trabalho de teste de modelos de visão computacional.

A pesquisa de similaridade do Ultralytics Explorer pode ajudar a encontrar imagens semelhantes a um falso positivo conhecido:

from ultralytics import Explorer

# Build an embedding index for the example dataset
explorer = Explorer(data="coco128.yaml", model="yolo26n.pt")
explorer.create_embeddings_table()

# Retrieve visually similar candidates for human review
candidates = explorer.get_similar(
    img="https://ultralytics.com/images/bus.jpg",
    limit=12,
)
print(candidates.head())

A similaridade, por si só, não prova que um candidato seja um negativo difícil; um revisor deve verificar a respetiva etiqueta de referência. As equipas podem utilizar a Ultralytics Platform para organizar imagens candidatas, anotá-las ou corrigi-las, treinar modelos atualizados e monitorizar implementações.

Evite selecionar apenas os exemplos absolutamente mais difíceis. Alguns podem estar mal etiquetados, ser ambíguos ou ser valores atípicos extremos que destabilizam o treino. Uma mistura equilibrada de negativos fáceis, moderadamente difíceis e difíceis geralmente preserva uma cobertura ampla, ensinando simultaneamente ao modelo onde a sua fronteira atual falha.