Label Smoothing

El suavizado de etiquetas es una técnica de regularización para modelos de clasificación de aprendizaje profundo que sustituye cada objetivo one-hot sin suavizar de los datos de entrenamiento por una versión suavizada: la mayor parte de la probabilidad se mantiene en la clase correcta y una pequeña proporción, determinada por un factor de suavizado ε, se distribuye uniformemente entre todas las clases. Entrenar con estos objetivos suavizados evita que una red neuronal lleve sus logits a valores extremos para alcanzar una confianza del 100 %, lo que reduce el sobreajuste y produce probabilidades mejor calibradas. Szegedy et al. lo describieron en el artículo de Inception-v3, con ε = 0.1 para las 1.000 clases de ImageNet, y ahora es una opción estándar al entrenar modelos de clasificación de imágenes, traducción y voz.

Cómo funciona el suavizado de etiquetas#

Con K clases y un factor de suavizado ε, cada objetivo pasa a ser (1 − ε) · y + ε / K, donde y es la etiqueta one-hot. Para tres clases y ε = 0.1, la etiqueta [1, 0, 0] se convierte en aproximadamente [0.933, 0.033, 0.033]. Con un objetivo rígido, la entropía cruzada sigue disminuyendo a medida que el logit correcto se aleja de los demás, por lo que la función de pérdida recompensa diferencias de logits cada vez mayores y la salida de softmax se satura. Con un objetivo suavizado, la pérdida alcanza su mínimo con una diferencia finita de ln((1 − ε + ε / K) / (ε / K)), aproximadamente 3.3 en este ejemplo, y vuelve a aumentar al superarla, por lo que los gradientes empujan las predicciones con exceso de confianza hacia valores más moderados. Los modelos de detección Ultralytics YOLO26 entrenan sus predicciones de clase con un tipo de objetivo suave relacionado: el asignador alineado con la tarea escala el objetivo de clase de cada ancla positiva según la alineación entre su puntuación y su caja predichas y el objeto, de modo que la mayoría de los objetivos quedan por debajo de 1.

La CrossEntropyLoss de PyTorch aplica la fórmula mediante el argumento label_smoothing:

import torch
from torch import nn

# The correct class is index 0 of three; hard and smoothed versions of the same loss
target = torch.tensor([0])
hard_loss = nn.CrossEntropyLoss()
smooth_loss = nn.CrossEntropyLoss(label_smoothing=0.1)

# Score the correct class increasingly far above the other two
for gap in [1.0, 3.0, 6.0, 12.0]:
    logits = torch.tensor([[gap, 0.0, 0.0]])
    hard = hard_loss(logits, target).item()
    smooth = smooth_loss(logits, target).item()
    print(f"Logit gap {gap:>4}: hard loss {hard:.3f}, smoothed loss {smooth:.3f}")

La pérdida rígida baja de 0.551 a 0.000 a medida que aumenta la diferencia, mientras que la pérdida suavizada alcanza un mínimo de 0.295 cerca de una diferencia de 3 y vuelve a subir hasta 0.800 con una diferencia de 12; así, la confianza extrema cuesta más que la moderada.

Efectos en la calibración y las características aprendidas#

Müller, Kornblith y Hinton observaron que el suavizado de etiquetas mejora la calibración del modelo, es decir, que las probabilidades predichas reflejan la frecuencia con la que las predicciones son realmente correctas. También demostraron que agrupa las características de la penúltima capa de cada clase en grupos compactos y espaciados uniformemente. Esta compresión elimina información sobre las clases incorrectas a las que se parece una imagen, y los modelos docentes entrenados con suavizado de etiquetas transfirieron muchos menos conocimientos a los modelos alumnos mediante la destilación de conocimiento.

Aplicaciones en el mundo real#

El suavizado de etiquetas resulta más útil cuando las etiquetas son ruidosas, ambiguas o numerosas.

• Clasificación a escala de ImageNet: ImageNet contiene imágenes mal etiquetadas y fotografías con varios objetos válidos. Las recetas de entrenamiento de redes convolucionales y Vision Transformers, incluido DeiT, utilizan ε = 0.1 para que el modelo nunca se ajuste con total certeza a una etiqueta dudosa.
• Traducción automática: el Transformer original utilizó suavizado de etiquetas con ε = 0.1. Sus autores indicaron que aumentó la perplejidad, ya que el modelo aprendió a tener menos certeza, pero mejoró la precisión y la puntuación BLEU.
• Análisis de imágenes médicas: los anotadores expertos suelen discrepar en los escaneos dudosos. Los objetivos suavizados evitan que un clasificador de diagnóstico trate cada etiqueta controvertida como cierta, y las puntuaciones mejor calibradas hacen más fiables los umbrales de triaje clínico.

Suavizado de etiquetas y técnicas relacionadas#

• Destilación de conocimiento: la destilación también se entrena con objetivos suaves, obtenidos de las predicciones de un modelo docente, que indican qué clases se parecen entre sí. Los objetivos del suavizado de etiquetas asignan la misma pequeña proporción a todas las clases incorrectas.
• Escalado de temperatura: el escalado de temperatura calibra un modelo entrenado a posteriori, dividiendo sus logits por una constante aprendida y dejando intactos los pesos.
• Capa Dropout: Dropout regulariza la red poniendo a cero activaciones aleatorias durante el entrenamiento, mientras que el suavizado de etiquetas regulariza mediante los objetivos de entrenamiento.
• CutMix: CutMix y mixup son métodos de aumentación de datos que combinan dos imágenes de entrenamiento y mezclan sus etiquetas en la misma proporción, por lo que el propio dato de entrada genera el objetivo suave. CutMix pondera cada etiqueta según el área que ocupa el parche insertado, mientras que mixup pondera tanto los píxeles como las etiquetas con un único factor extraído de una distribución Beta.