Overfitting

El sobreajuste ocurre en el aprendizaje automático cuando un modelo aprende demasiado bien los datos de entrenamiento, capturando ruido y fluctuaciones aleatorias en lugar de la distribución de datos subyacente. En lugar de aprender patrones generales que se apliquen a datos nuevos y desconocidos, un modelo sobreajustado memoriza efectivamente los ejemplos específicos del conjunto de entrenamiento. Esto da como resultado un rendimiento excelente en los datos de entrenamiento pero una mala generalización en escenarios del mundo real. A menudo se describe como "alta varianza", lo que significa que las predicciones del modelo varían significativamente dependiendo del conjunto de datos específico utilizado para el entrenamiento.

Link to this sectionPor qué ocurre el sobreajuste#

La causa principal del sobreajuste es una complejidad excesiva del modelo en relación con la cantidad de datos disponibles. Si una red neuronal es demasiado grande (es decir, tiene demasiadas capas o parámetros), puede memorizar fácilmente los ejemplos de entrenamiento. Otros factores contribuyentes incluyen:

• Datos de entrenamiento insuficientes: Los conjuntos de datos pequeños pueden contener correlaciones espurias que no existen en la población más amplia. Los modelos entrenados con datos limitados son propensos a aprender estos patrones accidentales.
• Ruido y valores atípicos en los datos: Altos niveles de ruido o valores atípicos no representativos en los datos de entrenamiento pueden engañar al modelo, haciendo que ajuste sus parámetros internos para adaptarse a las anomalías en lugar de a la señal real.
• Duración excesiva del entrenamiento: Entrenar durante demasiadas épocas permite que el modelo continúe refinando sus pesos hasta que se ajuste al ruido en el conjunto de entrenamiento. Esto a menudo se monitorea utilizando datos de validación.

Link to this sectionSobreajuste frente a subajuste#

Es importante distinguir el sobreajuste del subajuste. Mientras que el sobreajuste implica aprender demasiados detalles (incluyendo el ruido), el subajuste ocurre cuando un modelo es demasiado simple para capturar la estructura subyacente de los datos en absoluto. Un modelo subajustado funciona mal tanto en los datos de entrenamiento como en los datos nuevos, lo que a menudo resulta en un alto sesgo. Equilibrar estos dos extremos se conoce como el equilibrio entre sesgo y varianza.

Link to this sectionPrevenir el sobreajuste#

Los ingenieros utilizan varias técnicas para mitigar el sobreajuste y mejorar la robustez del modelo:

• Regularización: Técnicas como la regularización L1/L2 o la adición de capas de abandono (dropout layers) introducen penalizaciones o aleatoriedad durante el entrenamiento, evitando que el modelo se vuelva demasiado dependiente de características específicas.
• Parada temprana (Early Stopping): Monitorear la función de pérdida en un conjunto de validación permite detener el entrenamiento una vez que el rendimiento en datos desconocidos deja de mejorar, incluso si la precisión del entrenamiento sigue aumentando.
• Aumento de datos (Data Augmentation): Aumentar artificialmente el tamaño y la diversidad del conjunto de entrenamiento utilizando aumento de datos hace que sea más difícil para el modelo memorizar imágenes exactas.
• Validación cruzada: Utilizar técnicas como la validación cruzada de k iteraciones (k-fold) asegura que el modelo se pruebe en diferentes subconjuntos de datos, proporcionando una estimación más fiable de su rendimiento.

Link to this sectionEjemplos del mundo real#

El sobreajuste puede tener consecuencias graves al implementar IA en entornos de producción:

• Diagnóstico médico: En la IA en el cuidado de la salud, un modelo entrenado para detectar cáncer de piel podría sobreajustarse a las condiciones de iluminación o a las marcas de regla presentes en las imágenes de entrenamiento. Cuando se implementa en una clínica con una iluminación o equipo diferente, el modelo puede fallar al identificar correctamente las lesiones malignas porque se basó en señales de fondo irrelevantes.
• Previsión financiera: Un modelo de predicción del precio de las acciones podría sobreajustarse a las tendencias históricas del mercado que fueron impulsadas por un evento específico y no repetible (como una crisis económica única). Es probable que dicho modelo no logre predecir con precisión los futuros movimientos bursátiles porque memorizó anomalías pasadas en lugar de aprender la dinámica fundamental del mercado.

Link to this sectionEjemplo de código: Parada temprana con YOLO26#

Utilizando la plataforma Ultralytics o scripts de entrenamiento locales, puedes evitar el sobreajuste estableciendo una paciencia de parada temprana. Esto detiene el entrenamiento si la aptitud de validación no mejora durante un número determinado de épocas.

from ultralytics import YOLO

# Load the YOLO26 model (latest generation)
model = YOLO("yolo26n.pt")

# Train with early stopping enabled (patience=50 epochs)
# If validation metrics don't improve for 50 epochs, training stops.
results = model.train(data="coco8.yaml", epochs=100, patience=50)

Link to this sectionConceptos relacionados#

• Generalización: La capacidad de un modelo para adaptarse y funcionar bien con datos nuevos y previamente desconocidos, lo cual es lo opuesto al sobreajuste.
• Validación cruzada: Una técnica para evaluar cómo los resultados de un análisis estadístico se generalizarán a un conjunto de datos independiente.
• Regularización: Métodos utilizados para reducir errores ajustando una función apropiadamente en el conjunto de entrenamiento dado y evitar el sobreajuste.