Suavizado de Etiquetas

El suavizado de etiquetas es una técnica de regularización utilizada durante el entrenamiento de modelos de aprendizaje automático para evitar que la red neuronal se vuelva demasiado confiada en sus predicciones. red neuronal se confíe demasiado en sus predicciones. Al modificar ligeramente las etiquetas objetivo, este método este método anima al modelo a producir distribuciones de probabilidad menos extremas, lo que en última generalización y un mejor rendimiento en datos no vistos. Este método mitiga eficazmente el problema común del sobreajuste, en el que un modelo memoriza los datos de entrenamiento en lugar de aprender los subyacentes necesarios para realizar predicciones precisas en situaciones reales.

Mecánica del alisado de etiquetas

En tareas estándar de aprendizaje supervisado, como clasificación de imágenes, los modelos suelen entrenarse con objetivos "duros". Estos objetivos son vectores codificados a la clase correcta se le asigna una probabilidad de 1,0 (100%), y a todas las clases incorrectas se les asigna 0,0. Aunque esto parece intuitivo, obliga a función de pérdida -a menudoPérdida de Entropía Cruzada- a conducir las salidas de la capa logit hasta el infinito para alcanzar exactamente 1,0. Este comportamiento da como resultado un modelo excesivamente confiado, incluso cuando se equivoca, y reduce su capacidad de adaptación a nuevas entradas.

El suavizado de etiquetas sustituye estos objetivos duros por objetivos "blandos". En lugar de asignar 1,0 a la verdad la técnica asigna un valor ligeramente inferior, como 0,9. La masa de probabilidad restante (por ejemplo, 0,1) se distribuye uniformemente entre las clases incorrectas. se distribuye uniformemente entre las clases incorrectas. Este sutil desplazamiento impide que la función de activación, normalmente Softmax, se sature. Para una comprensión teórica más En el artículo de investigación"Rethinking the Inception Architecture for Computer Vision" se explican los fundamentos de este mecanismo de estabilización del entrenamiento.

Aplicación del suavizado de etiquetas con Ultralytics

Los modernos marcos de visión por ordenador facilitan la aplicación de esta técnica. Si utiliza el modelo Ultralytics YOLO11 , puede activar el suavizado de etiquetas directamente en los argumentos de entrenamiento. Esto resulta especialmente útil para tareas de clasificación en las que los conjuntos de datos pueden contener ambigüedades.

El siguiente ejemplo muestra cómo entrenar un modelo con suavizado de etiquetas aplicado:

from ultralytics import YOLO

# Load the YOLO11 classification model
model = YOLO("yolo11n-cls.pt")

# Train on a dataset with label smoothing set to 0.1
# This distributes 10% of the probability mass to incorrect classes
model.train(data="mnist", epochs=5, label_smoothing=0.1)

Ventajas en la calibración y robustez de los modelos

Una de las principales ventajas del suavizado de etiquetas es la mejora del calibración del modelo. Un modelo bien calibrado produce probabilidades predichas que reflejan esencialmente la verdadera probabilidad de corrección. Por ejemplo, si un modelo predice una clase con un 70% de confianza, debería ser correcta el 70% de las veces. Las etiquetas difíciles a menudo conducen a modelos no calibrados que predicen con un 99% de confianza, independientemente de la incertidumbre real. la incertidumbre real.

Además, el suavizado de etiquetas aumenta la robustez frente a datos ruidosos. En conjuntos de datos masivos como ImageNetalgunas etiquetas pueden ser incorrectas o ambiguas. En de que el modelo converja exactamente a 1,0, la red es más indulgente con los ejemplos ocasionales mal etiquetados. ejemplos mal etiquetados, evitando que la red neuronal que la red neuronal aprenda patrones erróneos en profundidad.

Aplicaciones en el mundo real

Esta estrategia de regularización se adopta ampliamente en diversos ámbitos de la inteligencia artificial para mejorar fiabilidad.

• Análisis de imágenes médicas: En soluciones de IA sanitaria, la incertidumbre es inherente. Una exploración puede mostrar características de un tumor que no son definitivas. El suavizado de etiquetas ayuda a a los modelos de análisis de imágenes médicas a evitar a los radiólogos proporcionándoles puntuaciones de probabilidad más matizadas en lugar de certezas binarias. en lugar de certezas binarias.
• Procesamiento del lenguaje natural (PLN): en tareas como la traducción automática, varias palabras pueden servir como traducciones válidas de una sola palabra original. El suavizado de etiquetas reconoce esta ambigüedad impidiendo que el que el modelo asigne una probabilidad cero a los sinónimos válidos. Transformadores y Grandes modelos lingüísticos.

Comparación con conceptos relacionados

Resulta útil distinguir el suavizado de etiquetas de otras técnicas utilizadas para mejorar el rendimiento del modelo.

• frente al aumento de datos: Mientras que aumento de datos modifica los datos de entrada (por ejemplo, girando o volteando imágenes) para aumentar la diversidad, el suavizado de etiquetas modifica las etiquetas objetivo. Ambos pueden utilizarse simultáneamente para entrenar modelos robustos como YOLO26, que busca una gran precisión y eficacia.
• vs. Destilación del conocimiento: En destilación de conocimientos, un modelo de alumno aprende de las predicciones "suaves" de un modelo de profesor. A diferencia del suavizado de etiquetas, en el que los objetivos blandos son uniformes y heurísticos, la destilación utiliza probabilidades aprendidas que contienen información sobre las relaciones entre clases (por ejemplo, un "perro" se parece más a un "gato" que a un "coche").
• contra el abandono escolar: La capa capa de abandono desactiva neuronas aleatoriamente durante el entrenamiento para evitar la coadaptación. Esto cambia la arquitectura de la red dinámicamente, mientras que el suavizado de etiquetas altera el objetivo de optimización. el objetivo de optimización. Encontrará más información sobre la desactivación en este artículo del Journal of Machine Learning Research.

Al integrar el suavizado de etiquetas en su proceso de formación, se asegura de que sus modelos sigan siendo adaptables y estén calibrados, lo que es esencial para el éxito de una investigación. y calibrados, lo que es esencial para despliegue de modelos en entornos producción.