Label Smoothing

O suavizamento de etiquetas é uma técnica de regularização para modelos de classificação de aprendizado profundo que substitui cada alvo one-hot rígido nos dados de treino por uma versão suavizada: a maior parte da probabilidade permanece na classe correta e uma pequena fração, definida por um fator de suavizamento ε, é distribuída uniformemente por todas as classes. Treinar com estes alvos suaves impede uma rede neuronal de empurrar os seus logits para valores extremos para atingir 100% de confiança, o que reduz o sobreajuste e produz probabilidades mais bem calibradas. Szegedy et al. descreveram a técnica no artigo sobre Inception-v3, usando ε = 0.1 para as 1.000 classes ImageNet; atualmente, é uma opção padrão ao treinar modelos de classificação de imagens, tradução e fala.

Como funciona o suavizamento de etiquetas#

Com K classes e um fator de suavizamento ε, cada alvo passa a ser (1 − ε) · y + ε / K, em que y é a etiqueta one-hot. Para três classes e ε = 0.1, a etiqueta [1, 0, 0] passa a ser aproximadamente [0.933, 0.033, 0.033]. Com um alvo rígido, a entropia cruzada continua a diminuir à medida que o logit correto se afasta dos restantes; assim, a função de perda recompensa diferenças cada vez maiores entre logits e a saída softmax satura. Com um alvo suavizado, a perda é mínima para uma diferença finita de ln((1 − ε + ε / K) / (ε / K)), cerca de 3.3 neste exemplo, e volta a aumentar acima desse valor; assim, os gradientes empurram as previsões excessivamente confiantes de volta para valores mais moderados. Os modelos de deteção Ultralytics YOLO26 treinam as previsões de classe com um tipo relacionado de alvo suave: o atribuidor alinhado com a tarefa dimensiona o alvo de classe de cada âncora positiva de acordo com o alinhamento entre a pontuação e a caixa previstas e o objeto, pelo que a maioria dos alvos fica abaixo de 1.

O CrossEntropyLoss do PyTorch aplica a fórmula através do argumento label_smoothing:

import torch
from torch import nn

# The correct class is index 0 of three; hard and smoothed versions of the same loss
target = torch.tensor([0])
hard_loss = nn.CrossEntropyLoss()
smooth_loss = nn.CrossEntropyLoss(label_smoothing=0.1)

# Score the correct class increasingly far above the other two
for gap in [1.0, 3.0, 6.0, 12.0]:
    logits = torch.tensor([[gap, 0.0, 0.0]])
    hard = hard_loss(logits, target).item()
    smooth = smooth_loss(logits, target).item()
    print(f"Logit gap {gap:>4}: hard loss {hard:.3f}, smoothed loss {smooth:.3f}")

A perda rígida diminui de 0.551 para 0.000 à medida que a diferença aumenta, enquanto a perda suavizada atinge um mínimo de 0.295 perto de uma diferença de 3 e volta a subir para 0.800 com uma diferença de 12; assim, a confiança extrema passa a ter um custo superior à confiança moderada.

Efeitos na calibração e nas características aprendidas#

Müller, Kornblith e Hinton concluíram que o suavizamento de etiquetas melhora a calibração do modelo, ou seja, as probabilidades previstas correspondem à frequência com que as previsões estão realmente corretas. Também mostraram que a técnica agrupa as características da penúltima camada de cada classe em grupos compactos e equidistantes. Essa compressão elimina informação sobre as classes erradas com que uma imagem se assemelha, e os modelos professores treinados com suavizamento de etiquetas transferiram muito menos conhecimento para os modelos alunos através da destilação de conhecimento.

Aplicações no mundo real#

O suavizamento de etiquetas é mais útil quando as etiquetas são ruidosas, ambíguas ou numerosas.

• Classificação em escala ImageNet: o ImageNet contém imagens rotuladas incorretamente e fotos com vários objetos válidos. Receitas de treinamento para redes convolucionais e Vision Transformers, incluindo o DeiT, usam ε = 0.1 para que o modelo nunca se ajuste a um rótulo questionável com certeza absoluta.
• Tradução automática: o Transformer original usou suavização de rótulos com ε = 0.1. Os autores relataram que isso aumentou a perplexidade, pois o modelo aprendeu a ter menos certeza, ao mesmo tempo que melhorou a precisão e a pontuação BLEU.
• Análise de imagens médicas: anotadores especialistas frequentemente discordam em exames limítrofes. Os alvos suavizados impedem que um classificador diagnóstico trate cada rótulo contestado como certo, e pontuações mais bem calibradas tornam os limiares de triagem clínica mais confiáveis.

Suavizamento de etiquetas vs. técnicas relacionadas#

• Destilação de conhecimento: a destilação também treina com alvos suaves, obtidos das previsões de um modelo professor, que registram quais classes se parecem entre si. Os alvos da suavização de rótulos atribuem a mesma pequena parcela a todas as classes incorretas.
• Ajuste de temperatura: o ajuste de temperatura calibra um modelo treinado posteriormente, dividindo seus logits por uma constante aprendida, sem alterar os pesos.
• Camada de dropout: o dropout regulariza a rede zerando ativações aleatórias durante o treinamento, enquanto a suavização de rótulos regulariza por meio dos alvos de treinamento.
• CutMix: CutMix e mixup são métodos de ampliação de dados que combinam duas imagens de treino e misturam as respetivas etiquetas na mesma proporção, pelo que o alvo suave provém da própria entrada. CutMix pondera cada etiqueta pela área ocupada pelo fragmento colado, e mixup pondera os píxeis e as etiquetas com um único fator extraído de uma distribuição Beta.