Suavização de etiquetas

A suavização de rótulos é uma técnica de regularização utilizada durante a formação de modelos de aprendizagem automática, particularmente em tarefas de classificação. Aborda a questão do excesso de confiança do modelo, impedindo que o modelo atribua a probabilidade total de 1,0 à classe correta. Em vez de utilizar etiquetas "rígidas" (em que a classe correta é 1 e todas as outras são 0), a suavização de etiquetas cria etiquetas "suaves", distribuindo uma pequena parte da massa de probabilidade pelas outras classes. Isto incentiva o modelo a ter menos certezas sobre as suas previsões, o que pode levar a uma melhor generalização e a um melhor desempenho em dados não vistos. A técnica foi notavelmente usada em modelos de alto desempenho e é detalhada em artigos como When Does Label Smoothing Help?

Como funciona o alisamento de etiquetas

Num problema típico de classificação por aprendizagem supervisionada, os dados de treino consistem em entradas e nas suas correspondentes etiquetas corretas. Por exemplo, numa tarefa de classificação de imagens, a imagem de um gato teria a etiqueta "gato" representada como um vetor codificado de uma só vez, como nas classes [gato, cão, pássaro]. Ao calcular a função de perda, o modelo é penalizado com base na distância a que a sua previsão se encontra deste objetivo difícil.

A suavização de rótulos modifica este objetivo. Reduz ligeiramente a probabilidade alvo para a classe correta (por exemplo, para 0,9) e distribui a pequena probabilidade restante (0,1 neste caso) uniformemente entre as classes incorrectas. Assim, o novo objetivo "suave" pode ser semelhante a [0,9, 0,05, 0,05]. Esta pequena alteração desencoraja a camada logit final de uma rede neural de produzir valores extremamente grandes para uma classe, o que ajuda a evitar o sobreajuste. Esse processo pode ser gerenciado durante o treinamento do modelo usando plataformas como o Ultralytics HUB.

Benefícios do alisamento de etiquetas

A principal vantagem da suavização de rótulos é que ela melhora a calibração do modelo. As pontuações de confiança previstas de um modelo bem calibrado refletem com mais precisão a verdadeira probabilidade de correção. Isso é crucial para aplicações em que a compreensão da certeza do modelo é importante, como na análise de imagens médicas. Ao evitar o excesso de confiança, também melhora a capacidade de generalização do modelo para novos dados, um objetivo fundamental de qualquer projeto de aprendizagem automática. Isto resulta frequentemente num ligeiro aumento da precisão. Uma melhor generalização leva a modelos mais robustos para inferência em tempo real e implantação do modelo final.

Aplicações no mundo real

A suavização de etiquetas é uma técnica simples, mas eficaz, aplicada em vários modelos de última geração.

1. Classificação de imagens em grande escala: Modelos como o Ultralytics YOLO, treinados para tarefas de classificação de imagens em conjuntos de dados maciços como o ImageNet, utilizam frequentemente a suavização de rótulos. Esses conjuntos de dados podem, às vezes, conter rótulos ruidosos ou incorretos do processo de rotulagem de dados. A suavização de rótulos torna o modelo mais robusto a esse ruído de rótulos, evitando que ele aprenda a ter confiança excessiva em rótulos potencialmente errados. Pode explorar uma variedade de conjuntos de dados de classificação para os seus projectos.
2. Processamento de linguagem natural (PNL): Em tarefas como a tradução automática, pode haver várias traduções válidas para uma única frase. A suavização de etiquetas, utilizada em modelos como o Transformer, desencoraja o modelo de atribuir uma probabilidade de 1,0 a uma única palavra correta no vocabulário, reconhecendo que outras palavras também podem ser adequadas. Este conceito é fundamental na PNL moderna e é discutido em recursos de instituições como o Stanford NLP Group.

Alisamento de rótulos vs. conceitos relacionados

É importante diferenciar a suavização de etiquetas de outras técnicas de regularização.

• Rótulos rígidos: Esta é a abordagem padrão em que o modelo é treinado com certeza absoluta (100% para a classe correta). A suavização de rótulos é uma alternativa direta a esta abordagem.
• Aumento de dados: Esta é outra técnica de regularização que cria novos exemplos de treino através da aplicação de transformações aos dados existentes. Aumenta a diversidade do conjunto de dados, enquanto a suavização de rótulos modifica os próprios valores-alvo. Pode encontrar guias para o aumento de dados YOLO na documentação do Ultralytics.
• Desativação: Este método desactiva aleatoriamente uma fração de neurónios durante cada etapa de treino para evitar co-adaptações complexas. Modifica a arquitetura do modelo durante o treino, enquanto que o Label Smoothing modifica o cálculo da perda. Um mergulho mais profundo no abandono pode ser encontrado num artigo da GeeksforGeeks sobre o tema.
• Destilação do conhecimento: Nesta técnica, um modelo "aluno" mais pequeno é treinado utilizando as etiquetas flexíveis produzidas por um modelo "professor" maior e pré-treinado. Embora também use rótulos flexíveis, a fonte desses rótulos são as previsões de outro modelo, e não uma simples heurística aplicada aos rótulos verdadeiros como na Suavização de rótulos. O artigo original Distilling the Knowledge in a Neural Network (Destilando o conhecimento em uma rede neural ) fornece uma compreensão básica desse conceito.