Early Stopping

La detención temprana es una técnica de entrenamiento que finaliza una ejecución iterativa de aprendizaje automático cuando una medida de rendimiento monitorizada deja de mejorar. Permite que el rendimiento en validación determine cuánto tiempo continúa el aprendizaje, lo que reduce el cómputo innecesario y limita el sobreajuste. En la práctica, el entrenamiento se detiene cuando seguir practicando ya no mejora la capacidad del modelo para manejar ejemplos reservados. Fuera del aprendizaje automático, «detenerse antes» simplemente significa poner fin a una actividad antes de lo previsto.

Cómo funciona la detención temprana#

Durante el entrenamiento, un optimizador actualiza un modelo usando datos de entrenamiento. A intervalos regulares, el modelo se evalúa con datos de validación independientes. La pérdida de entrenamiento puede seguir disminuyendo mientras el rendimiento en validación empeora: esto indica sobreajuste, cuando el modelo se ajusta cada vez más a detalles específicos de sus ejemplos de entrenamiento. La detención temprana limita este proceso al elegir cuándo detenerse en función del rendimiento con datos reservados.

Una implementación típica realiza un seguimiento de la mejor puntuación de validación, guarda los pesos del modelo correspondientes y cuenta las comprobaciones consecutivas sin una mejora suficiente. Una mejora reinicia el contador; al alcanzar la paciencia configurada, el entrenamiento termina. Restaurar el mejor punto de control conserva el mejor resultado de validación observado, que puede producirse antes del último paso de entrenamiento.

Nelson Morgan y Hervé Bourlard introdujeron la detención basada en validación para redes neuronales de propagación hacia delante en su trabajo de 1989 sobre generalización y estimación de parámetros. Sus experimentos incluyeron la clasificación del habla y demostraron cómo seleccionar la duración del entrenamiento mediante la monitorización de datos independientes.

Métricas, paciencia y mejores pesos#

La regla de detención depende de varios ajustes:

• Métrica monitorizada: La pérdida de validación mide el error de predicción y se minimiza; la precisión de validación mide las predicciones correctas y se maximiza.
• Paciencia y duración del entrenamiento: La paciencia especifica cuántas comprobaciones sin éxito tolera el entrenamiento. Una época es un ciclo completo por el conjunto de datos de entrenamiento.
• Umbral de mejora: Keras lo denomina min_delta: el cambio absoluto mínimo que se considera un avance. Su ajuste restore_best_weights=True restaura los pesos asociados al mejor valor monitorizado.
• Frecuencia de las comprobaciones de validación: PyTorch Lightning cuenta la paciencia en comprobaciones de validación. Comprobar cada diez épocas con una paciencia de tres permite tres comprobaciones sin éxito a lo largo de treinta épocas después de la mejor comprobación.

La paciencia y los umbrales de mejora son hiperparámetros: ajustes que se eligen fuera del proceso de actualización de pesos. Una paciencia menor termina antes las ejecuciones estancadas; una paciencia mayor permite mesetas temporales más largas. Un periodo de calentamiento retrasa la monitorización mientras se estabiliza el aprendizaje inicial. Estos ajustes interactúan con la tasa de aprendizaje, que controla el tamaño de las actualizaciones de optimización.

Aplicaciones y un ejemplo ejecutable#

La detención temprana se aplica tanto a redes neuronales como a árboles potenciados por gradiente. En el potenciación de gradiente con scikit-learn, cada etapa añade un árbol y la detención basada en validación controla el número de etapas. El ejemplo de viviendas de California usa validation_fraction para reservar datos y n_iter_no_change para detenerse cuando el progreso de validación se estanca.

El siguiente ejemplo usa el conjunto de datos de diabetes incluido en scikit-learn e imprime el número de etapas de potenciación que se han ajustado:

from sklearn.datasets import load_diabetes
from sklearn.ensemble import GradientBoostingRegressor

X, y = load_diabetes(return_X_y=True)

# Reserve an internal validation split and monitor progress.
model = GradientBoostingRegressor(
    n_estimators=1000,
    validation_fraction=0.2,
    n_iter_no_change=10,
    random_state=42,
)
model.fit(X, y)

print(f"Boosting stages fitted: {model.n_estimators_}/1000")

El recuento de etapas ajustadas muestra en qué punto el criterio de detención puso fin a la construcción de árboles con respecto al límite de 1.000 etapas.

Ultralytics YOLO aplica la detención temprana durante el entrenamiento del modelo, incluido YOLO26, mediante el argumento patience, que cuenta las épocas sin mejoras en la aptitud de validación. En detección, la aptitud se calcula mediante mAP50–95, y el entrenador guarda el mejor punto de control como best.pt.

La detención temprana y conceptos relacionados#

La detención temprana es una forma de regularización que controla la duración del entrenamiento. La disminución de pesos penaliza los pesos grandes, mientras que el abandono desactiva unidades aleatoriamente durante el entrenamiento. Estos mecanismos pueden funcionar conjuntamente. Detenerse demasiado pronto produce subajuste y deja patrones útiles sin aprender.

El uso de puntos de control guarda estados del modelo; la detención temprana decide cuándo termina la optimización. La validación cruzada alterna particiones reservadas para evaluar las opciones del modelo, mientras que los datos de prueba independientes permiten realizar la evaluación final. Como la decisión de detenerse selecciona un modelo a partir de los resultados de validación, la puntuación de validación del punto de control seleccionado forma parte de la selección del modelo.

En Keras, restore_best_weights tiene False como valor predeterminado, así que habilitar únicamente la detención temprana deja el modelo con los pesos del último paso.