Label Smoothing

El suavizado de etiquetas es una técnica de regularización muy utilizada en aprendizaje automático para mejorar la generalización de los modelos y prevenir el sobreajuste. Al entrenar redes neuronales, el objetivo suele ser minimizar el error entre las predicciones y la verdad fundamental. Sin embargo, si un modelo se vuelve demasiado confiado en sus predicciones —asignando cerca de un 100% de probabilidad a una sola clase—, a menudo empieza a memorizar el ruido específico en los datos de entrenamiento en lugar de aprender patrones robustos. Este fenómeno, conocido como sobreajuste, degrada el rendimiento en ejemplos nuevos y desconocidos. El suavizado de etiquetas soluciona esto evitando que el modelo prediga con certeza absoluta, indicando esencialmente a la red que siempre hay un pequeño margen para el error.

Link to this sectionLa mecánica de los objetivos blandos#

Para entender cómo funciona el suavizado de etiquetas, ayuda contrastarlo con los objetivos "duros" estándar. En el aprendizaje supervisado tradicional, las etiquetas de clasificación suelen representarse mediante codificación one-hot. Por ejemplo, en una tarea para distinguir entre gatos y perros, una imagen de "perro" tendría un vector objetivo de [0, 1]. Para ajustar esto a la perfección, el modelo empuja sus puntuaciones internas, conocidas como logits, hacia el infinito, lo que puede provocar gradientes inestables y una incapacidad para adaptarse.

El suavizado de etiquetas sustituye estos 1 y 0 rígidos por objetivos "blandos". En lugar de una probabilidad objetivo de 1.0, a la clase correcta se le puede asignar 0.9, mientras que la masa de probabilidad restante (0.1) se distribuye uniformemente entre las clases incorrectas. Este cambio sutil modifica el objetivo de la función de pérdida, como la entropía cruzada, evitando que la función de activación (normalmente Softmax) se sature. El resultado es un modelo que aprende grupos de clases más compactos en el espacio de características y produce una mejor calibración del modelo, lo que significa que las probabilidades predichas reflejan con mayor precisión la probabilidad real de acierto.

Link to this sectionAplicaciones en el mundo real#

Esta técnica es especialmente crítica en ámbitos donde la ambigüedad de los datos es inherente o los conjuntos de datos son propensos a errores de etiquetado.

• Diagnóstico médico: En el campo de la IA en el cuidado de la salud, los datos clínicos rara vez son blancos o negros. Por ejemplo, en el análisis de imágenes médicas, un escáner puede mostrar características que sugieren una enfermedad pero no son definitivas. Entrenar con etiquetas duras obliga al modelo a ignorar esta incertidumbre. Al aplicar el suavizado de etiquetas, el modelo conserva cierto grado de escepticismo, lo cual es vital para los sistemas de apoyo a la decisión donde el exceso de confianza podría llevar a un diagnóstico erróneo.
• Clasificación de imágenes a gran escala: Los conjuntos de datos públicos masivos como ImageNet suelen contener imágenes mal etiquetadas o imágenes que contienen múltiples objetos válidos. Si un modelo intenta ajustar estos ejemplos ruidosos con un 100% de confianza, aprenderá asociaciones incorrectas. El suavizado de etiquetas actúa como un amortiguador contra el ruido de las etiquetas, asegurando que unos pocos datos erróneos no sesguen drásticamente los pesos del modelo finales.

Link to this sectionImplementación del suavizado de etiquetas con Ultralytics#

Los marcos de aprendizaje profundo modernos simplifican la aplicación de esta técnica. Usando el paquete ultralytics, puedes integrar fácilmente el suavizado de etiquetas en tu flujo de trabajo de entrenamiento para tareas de clasificación de imágenes o detección. Esto suele hacerse para extraer un rendimiento adicional de modelos de vanguardia como YOLO26.

El siguiente ejemplo demuestra cómo entrenar un modelo de clasificación con el suavizado de etiquetas activado:

from ultralytics import YOLO

# Load a pre-trained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Train with label_smoothing set to 0.1
# The target for the correct class becomes 1.0 - 0.5 * 0.1 = 0.95 (depending on implementation specifics)
model.train(data="mnist", epochs=5, label_smoothing=0.1)

Link to this sectionComparación con conceptos relacionados#

Resulta útil distinguir el suavizado de etiquetas de otras estrategias de regularización para entender cuándo utilizarlo.

• vs. Dropout: Una capa de dropout desactiva neuronas aleatoriamente durante el entrenamiento para forzar a la red a aprender representaciones redundantes. Aunque ambos previenen el sobreajuste, el dropout modifica la arquitectura de la red dinámicamente, mientras que el suavizado de etiquetas modifica el objetivo de optimización (las etiquetas en sí mismas).
• vs. Destilación de conocimiento: Ambas técnicas implican el entrenamiento con objetivos blandos. Sin embargo, en la destilación de conocimiento, los objetivos blandos provienen de un modelo "profesor" y contienen información aprendida (por ejemplo, "esto parece un 10% un gato"). Por el contrario, el suavizado de etiquetas utiliza objetivos blandos "no informativos" derivados matemáticamente (por ejemplo, "da un 10% de probabilidad a todas las demás clases por igual").
• vs. Aumento de datos: Las estrategias de aumento de datos cambian los datos de entrada (rotando, recortando, aplicando color) para aumentar la variedad. El suavizado de etiquetas cambia las expectativas de salida. Los flujos de trabajo de entrenamiento integrales en la Plataforma Ultralytics suelen combinar aumento, dropout y suavizado de etiquetas para lograr la máxima precisión.

Al mitigar el problema del gradiente desvaneciente en las capas finales y fomentar que el modelo aprenda características más robustas, el suavizado de etiquetas sigue siendo un elemento básico en las arquitecturas modernas de aprendizaje profundo.