Suavizado de etiquetas

Cómo funciona el alisado de etiquetas

En lugar de utilizar un 1 estricto para la clase correcta y un 0 para las demás (codificación de un solo punto), el suavizado de etiquetas ajusta estas probabilidades objetivo. Por ejemplo, si tenemos K clases y un factor de alisamiento alphala probabilidad objetivo de la clase correcta es 1 - alphay la probabilidad de cada clase incorrecta es alpha / (K-1). Este pequeño ajuste significa que el modelo se ve penalizado si asigna una probabilidad extremadamente alta (cercana a 1) a una sola clase durante el entrenamiento, ya que la propia etiqueta objetivo no expresa una certeza absoluta. Esta técnica se discutió especialmente en el contexto del entrenamiento de modelos avanzados de clasificación de imágenes en el "Repensar la arquitectura de inicio para la visión por ordenador" papel.

Ventajas del alisado de etiquetas

Aplicar el alisado de etiquetas puede ofrecer varias ventajas:

• Generalización mejorada: Al evitar que el modelo se especialice demasiado en los patrones exactos de los datos de entrenamiento (reduciendo el sobreajuste), a menudo se comporta mejor con datos nuevos no vistos. La generalización es un objetivo clave en el ML.
• Mejor calibración del modelo: Los modelos entrenados con suavizado de etiquetas tienden a producir puntuaciones de probabilidad que reflejan mejor la verdadera probabilidad de que la predicción sea correcta. Esto significa que es más probable que una confianza predicha del 80% corresponda a una precisión real del 80%. Comprender la calibración de los modelos es crucial para que los sistemas de IA sean fiables.
• Reduce el exceso de confianza: Aborda directamente el problema de los modelos que asignan una certeza casi absoluta a las predicciones, lo que puede ser problemático en las aplicaciones del mundo real, donde existe incertidumbre. El exceso de confianza puede conducir a una mala toma de decisiones.
• Efecto de regularización: actúa como una forma de regularización, similar a técnicas como el abandono o el decaimiento del peso, añadiendo ruido a las etiquetas, limitando así la complejidad de los pesos aprendidos del modelo.

Aplicaciones y ejemplos

El suavizado de etiquetas es ampliamente aplicable en escenarios de clasificación de diversos dominios:

1. Clasificación de imágenes: En las tareas de clasificación de imágenes a gran escala, como el entrenamiento en el conjunto de datos ImageNet, el suavizado de etiquetas ayuda a que los modelos generalicen mejor y consigan una mayor precisión en los conjuntos de validación. Los modelos como Vision Transformers (ViT) suelen beneficiarse de esta técnica durante el entrenamiento. Puedes entrenar modelos de clasificación utilizando herramientas como Ultralytics HUB.
2. Procesamiento del Lenguaje Natural (PLN): En tareas como la traducción automática o la clasificación de textos, en las que se utilizan modelos como los Transformers, el suavizado de etiquetas puede mejorar el rendimiento evitando que el modelo se vuelva demasiado seguro sobre predicciones o clasificaciones de palabras concretas, especialmente dada la ambigüedad inherente al lenguaje.
3. Reconocimiento del habla: Al igual que la PNL, los modelos de reconocimiento del habla pueden beneficiarse del suavizado de etiquetas para manejar las variaciones de pronunciación y las posibles imprecisiones en las transcripciones dentro de los datos de entrenamiento.

Aunque no siempre se detallan explícitamente para cada arquitectura, técnicas como el suavizado de etiquetas suelen formar parte de las recetas de entrenamiento estándar de los modelos más avanzados, incluyendo potencialmente modelos de detección de objetos como Ultralytics YOLO durante sus etapas de clasificación, aunque su impacto puede variar en función de la tarea y el conjunto de datos específicos.

Conceptos relacionados

• Codificación Uniforme: El método estándar de representación de etiquetas categóricas en el que el suavizado de etiquetas introduce una modificación. La codificación unívoca asigna 1 a la clase verdadera y 0 a las demás.
• Destilación del Conocimiento: Esta técnica también utiliza objetivos blandos, pero el objetivo es distinto. La Destilación de Conocimientos utiliza las salidas de probabilidad de un modelo "maestro" más grande y preentrenado como etiquetas blandas para entrenar un modelo "alumno" más pequeño, transfiriendo los conocimientos aprendidos. El suavizado de etiquetas es una técnica de regularización autónoma que se aplica durante el entrenamiento estándar.
• Funciones de pérdida: El suavizado de etiquetas se suele utilizar junto con funciones de pérdida como la entropía cruzada, modificando la distribución objetivo contra la que se calcula la pérdida.
• Regularización: Se incluye en la categoría más amplia de técnicas de regularización destinadas a mejorar la generalización del modelo y evitar el sobreajuste. Otros ejemplos son el Dropout y la regularización L1/L2.

Consideraciones

Aunque es beneficioso, el suavizado de etiquetas requiere una aplicación cuidadosa. El factor de suavizado (alfa) es un hiperparámetro que hay que ajustar; un valor demasiado pequeño puede tener poco efecto, mientras que un valor demasiado grande puede dificultar el aprendizaje al hacer que las etiquetas sean demasiado poco informativas. Su impacto en la calibración del modelo, aunque suele ser positivo, debe evaluarse para la aplicación específica, pudiendo requerir métodos de calibración post-hoc en algunos casos. Es una herramienta sencilla pero eficaz, empleada a menudo en marcos modernos de aprendizaje profundo como PyTorch y TensorFlow.