Suavização de rótulos

A suavização de etiquetas é uma técnica de regularização utilizada durante a formação de modelos de aprendizagem automática para evitar que a rede neural se torne demasiado confiante nas suas previsões. Ao modificar ligeiramente as etiquetas de destino, este método Este método incentiva o modelo a produzir distribuições de probabilidade menos extremas, o que, em última análise, leva a uma melhor generalização e a um melhor desempenho em dados não vistos. Atenua efetivamente o problema comum de sobreajuste, em que um modelo memoriza os dados de treino em vez de aprender os padrões subjacentes padrões subjacentes necessários para previsões exactas em cenários do mundo real.

A mecânica da suavização de rótulos

Nas tarefas normais de aprendizagem supervisionada, como a classificação de imagens, os modelos são normalmente treinados utilizando objectivos "difíceis". Estes objectivos são vectores codificados onde à classe correta é atribuída uma probabilidade de 1,0 (100%) e a todas as classes incorrectas é atribuído 0,0. Embora isto pareça intuitivo, força a função de perda função de perda - muitas vezesa perda de entropia cruzada - a conduzir as saídas da camada logit até o infinito para atingir exatamente 1,0. Esse comportamento resulta em um modelo que é excessivamente confiante, mesmo quando está errado, e reduz a sua capacidade de adaptação a novos inputs.

A suavização de etiquetas substitui estes objectivos rígidos por objectivos "suaves". Em vez de atribuir 1,0 à verdade verdade, a técnica atribui um valor ligeiramente inferior, como 0,9. A restante massa de probabilidade (por exemplo, 0,1) é distribuída uniformemente pelas classes incorrectas. Esta mudança subtil impede que a função de ativação função de ativação, tipicamente Softmax, de saturar. Para uma compreensão teórica mais profunda Para uma compreensão teórica mais aprofundada, o artigo de investigação"Rethinking the Inception Architecture for Computer Vision" (Repensar a arquitetura de início para a visão por computador) fornece informações fundamentais sobre a forma como este mecanismo estabiliza a formação.

Implementação da suavização de etiquetas com Ultralytics

As estruturas modernas de visão por computador facilitam a aplicação desta técnica. Ao utilizar o modelo modeloUltralytics YOLO11 , pode ativar a suavização de etiquetas diretamente nos argumentos de treino. Isso é particularmente útil para tarefas de classificação em que os conjuntos de dados podem conter ambiguidade.

O exemplo a seguir demonstra como treinar um modelo com a suavização de rótulos aplicada:

from ultralytics import YOLO

# Load the YOLO11 classification model
model = YOLO("yolo11n-cls.pt")

# Train on a dataset with label smoothing set to 0.1
# This distributes 10% of the probability mass to incorrect classes
model.train(data="mnist", epochs=5, label_smoothing=0.1)

Benefícios na Calibração e Robustez do Modelo

Uma das principais vantagens da suavização de rótulos é a melhoria da calibração do modelo. Um modelo bem calibrado produz probabilidades previstas que reflectem essencialmente a verdadeira probabilidade de correção. Por exemplo, se um modelo prevê uma classe com 70% de confiança, deve estar correto em 70% das vezes. As etiquetas rígidas conduzem frequentemente a modelos não calibrados que prevêem com 99% de confiança, independentemente da da incerteza efectiva.

Além disso, a suavização de etiquetas aumenta a robustez contra dados ruidosos. Em conjuntos de dados maciços como ImageNetalguns rótulos podem ser incorrectos ou ambíguos. Ao não forçar o modelo a convergir exatamente para 1,0, a rede torna-se mais indulgente com exemplos ocasionais de exemplos incorrectos, impedindo que a rede neural aprendizagem profunda de padrões erróneos.

Aplicações no Mundo Real

Esta estratégia de regularização é amplamente adoptada em vários domínios da inteligência artificial para aumentar a a fiabilidade.

• Análise de imagens médicas: Nas soluções de soluções de IA para os cuidados de saúde, a incerteza é inerente. Um exame pode mostrar caraterísticas de um tumor que não são definitivas. A suavização de rótulos ajuda os modelos de análise de imagens médicas a evitar fazer evitar fazer previsões falsas-positivas perigosamente confiantes, ajudando os radiologistas ao fornecer pontuações de probabilidade mais matizadas mais matizadas em vez de certezas binárias.
• Processamento de linguagem natural (PNL): Em tarefas como tradução automática, várias palavras podem frequentemente servir como traduções válidas para uma única palavra de origem. A suavização de etiquetas reconhece esta ambiguidade, impedindo que o modelo modelo atribua probabilidade zero a sinónimos válidos, um conceito crucial em Transformadores e Modelos linguísticos de grande dimensão.

Comparação com Conceitos Relacionados

É útil distinguir a suavização de etiquetas de outras técnicas utilizadas para melhorar o desempenho do modelo.

• vs. Aumento de dados: Enquanto a aumento de dados modifica os dados de entrada (por exemplo, rodando ou invertendo imagens) para aumentar a diversidade, a suavização de etiquetas modifica as etiquetas de destino. Ambos podem ser utilizadas simultaneamente para formar modelos robustos como o YOLO26, que tem como objetivo uma elevada precisão e eficiência.
• vs. Destilação do conhecimento: Na destilação de conhecimento, um modelo de aluno aprende com as previsões "suaves" de um modelo de professor. Ao contrário da suavização de rótulos, em que os alvos suaves são uniformes e heurísticos, a destilação usa probabilidades aprendidas que contêm informações sobre as relações (por exemplo, um "cão" é mais parecido com um "gato" do que com um "carro").
• vs. Abandono: A camada de camada de abandono desactiva aleatoriamente os neurónios durante neurónios durante o treino para evitar a co-adaptação. Isto altera a arquitetura da rede de forma dinâmica, enquanto a suavização de etiquetas altera o objetivo de otimização. o objetivo de otimização. Para mais pormenores sobre o abandono, consultar este artigo do Journal of Machine Learning Research.

Ao integrar a suavização de rótulos no seu pipeline de formação, garante que os seus modelos permanecem adaptáveis e calibrados, o que é essencial para uma implantação de modelos em ambientes em ambientes de produção.