Overfitting

El sobreajuste ocurre en el aprendizaje automático cuando un modelo aprende demasiado bien los datos de entrenamiento, capturando ruido y fluctuaciones aleatorias en lugar de la distribución de datos subyacente. En lugar de aprender patrones generales que se apliquen a datos nuevos y desconocidos, un modelo sobreajustado memoriza efectivamente los ejemplos específicos del conjunto de entrenamiento. Esto da como resultado un rendimiento excelente en los datos de entrenamiento pero una mala generalización en escenarios del mundo real. A menudo se describe como "alta varianza", lo que significa que las predicciones del modelo varían significativamente dependiendo del conjunto de datos específico utilizado para el entrenamiento.

Por qué ocurre el sobreajuste#

La causa principal del sobreajuste es una complejidad excesiva del modelo en relación con la cantidad de datos disponibles. Si una neural network es demasiado grande (es decir, tiene demasiadas capas o parámetros), puede memorizar fácilmente los ejemplos de entrenamiento. Otros factores contribuyentes incluyen:

• Datos de entrenamiento insuficientes: Los conjuntos de datos pequeños pueden contener correlaciones espurias que no existen en la población más amplia. Los modelos entrenados con datos limitados son propensos a aprender estos patrones accidentales.
• Ruido en los datos y valores atípicos: Altos niveles de ruido o valores atípicos no representativos en los training data pueden engañar al modelo, haciendo que ajuste sus parámetros internos para adaptarse a las anomalías en lugar de a la señal real.
• Duración extendida del entrenamiento: Entrenar durante demasiadas epochs permite que el modelo continúe refinando sus pesos hasta ajustarse al ruido del conjunto de entrenamiento. Esto se supervisa a menudo utilizando validation data.

Sobreajuste frente a subajuste#

Es importante distinguir el sobreajuste del underfitting. Mientras que el sobreajuste implica aprender demasiado detalle (incluyendo el ruido), el subajuste ocurre cuando un modelo es demasiado simple para capturar la estructura subyacente de los datos. Un modelo subajustado funciona mal tanto con los datos de entrenamiento como con datos nuevos, lo que a menudo resulta en un sesgo alto. Equilibrar estos dos extremos se conoce como el bias-variance tradeoff.

Prevenir el sobreajuste#

Los ingenieros utilizan varias técnicas para mitigar el sobreajuste y mejorar la robustez del modelo:

• Regularización: Técnicas como la regularización L1/L2 o la adición de dropout layers introducen penalizaciones o aleatoriedad durante el entrenamiento, evitando que el modelo dependa demasiado de características específicas.
• Parada temprana: Supervisar la loss function en un conjunto de validación permite detener el entrenamiento una vez que el rendimiento en datos no vistos deja de mejorar, incluso si la precisión de entrenamiento sigue aumentando.
• Aumento de datos: aumentar artificialmente el tamaño y la diversidad del conjunto de entrenamiento mediante data augmentation dificulta que el modelo memorice imágenes exactas.
• Validación cruzada: El uso de técnicas como k-fold cross-validation garantiza que el modelo se pruebe en diferentes subconjuntos de datos, proporcionando una estimación más fiable de su rendimiento.

Ejemplos del mundo real#

El sobreajuste puede tener consecuencias graves al implementar IA en entornos de producción:

• Diagnóstico médico: En AI in healthcare, un modelo entrenado para detectar cáncer de piel podría sobreajustarse a las condiciones de iluminación o a las marcas de regla presentes en las imágenes de entrenamiento. Al implementarlo en una clínica con diferente iluminación o equipo, es posible que el modelo no identifique correctamente las lesiones malignas porque dependió de señales de fondo irrelevantes.
• Previsión financiera: Un modelo de predicción del precio de las acciones podría sobreajustarse a las tendencias históricas del mercado que fueron impulsadas por un evento específico y no repetible (como una crisis económica única). Es probable que dicho modelo no logre predecir con precisión los futuros movimientos bursátiles porque memorizó anomalías pasadas en lugar de aprender la dinámica fundamental del mercado.

Ejemplo de c%f3digo: Detenci%f3n temprana con Ultralytics YOLO26#

Usando la Ultralytics Platform o scripts de entrenamiento locales, puedes evitar el sobreajuste configurando la paciencia de la parada temprana. Esto detiene el entrenamiento si la aptitud de validación no mejora durante un número determinado de épocas.

from ultralytics import YOLO

# Load the YOLO26 model (latest generation)
model = YOLO("yolo26n.pt")

# Train with early stopping enabled (patience=50 epochs)
# If validation metrics don't improve for 50 epochs, training stops.
results = model.train(data="coco8.yaml", epochs=100, patience=50)

Conceptos relacionados#

• Generalización: La capacidad de un modelo para adaptarse y funcionar bien con datos nuevos y previamente desconocidos, lo cual es lo opuesto al sobreajuste.
• Validación cruzada: Una técnica para evaluar cómo los resultados de un análisis estadístico se generalize a un conjunto de datos independiente.
• Regularización: Métodos utilizados para reducir errores ajustando una función apropiadamente en el conjunto de entrenamiento dado y evitar el sobreajuste.