Licencia YOLO
Volver al glosario de Ultralytics

Double Descent

El doble descenso es un patrón en el que el error de prueba disminuye, alcanza un pico en el umbral de interpolación y vuelve a disminuir a medida que los modelos crecen o se entrenan durante más tiempo.

La doble caída es un patrón en el que el error de un modelo con datos que no ha visto disminuye, aumenta y vuelve a disminuir a medida que el modelo crece o se entrena durante más tiempo. El aumento alcanza su máximo cerca del punto en que el modelo adquiere por primera vez el tamaño suficiente para ajustar exactamente todos los ejemplos de entrenamiento. A partir de ahí, aumentar la capacidad vuelve a reducir el error de prueba, a menudo por debajo del mejor resultado obtenido por cualquier modelo más pequeño.

Este patrón amplía la explicación clásica del equilibrio entre sesgo y varianza, que predice una única curva en forma de U: el error disminuye a medida que el modelo capta más estructura y, después, aumenta cuando empieza a sobreajustarse al ruido, por lo que el mejor modelo queda en algún punto intermedio. En modelos con un número muy elevado de parámetros, como las redes neuronales modernas, esa forma de U es solo la primera mitad de la curva. Mikhail Belkin y sus colaboradores dieron nombre al fenómeno en un artículo publicado en 2019, y ese mismo año investigadores de Harvard y OpenAI demostraron que aparece en modelos estándar de aprendizaje profundo, incluidos ResNets y transformers.

El umbral de interpolación#

El máximo se encuentra en el umbral de interpolación, el tamaño del modelo en el que el error de entrenamiento llega a cero por primera vez. Un modelo de ese tamaño apenas cuenta con parámetros suficientes para pasar por todos los puntos de entrenamiento, así que, en esencia, solo hay una forma de hacerlo. Si algunas etiquetas contienen ruido o son incorrectas, esa única solución debe ajustarse bruscamente para adaptarse a ellas, las predicciones entre los puntos de entrenamiento se vuelven erráticas y el error de prueba se dispara.

Por encima del umbral, muchos ajustes de parámetros distintos se adaptan perfectamente a los datos de entrenamiento. Los métodos de entrenamiento basados en gradientes, como el descenso de gradiente estocástico, tienden a converger en las soluciones más suaves; en los modelos lineales, exactamente en la que tiene los pesos más pequeños. Así, la capacidad adicional se dedica a suavizar la función entre puntos. Esa preferencia implícita por las soluciones sencillas explica por qué una red con muchos más parámetros que ejemplos de entrenamiento puede generalizar bien.

El siguiente script reproduce la curva con una regresión de características aleatorias sobre 40 puntos de entrenamiento ruidosos. Cada modelo ajusta la solución de mínimos cuadrados con norma mínima, y el número de características aleatorias representa el tamaño del modelo:

import numpy as np

rng = np.random.default_rng(0)
n_train, dim = 40, 10
w = rng.normal(size=dim)
x_train, x_test = rng.normal(size=(n_train, dim)), rng.normal(size=(2000, dim))
y_train = x_train @ w + rng.normal(size=n_train)  # noisy training labels
y_test = x_test @ w

for n_features in [10, 20, 30, 40, 50, 100, 1000]:
    proj = rng.normal(size=(dim, n_features))
    f_train, f_test = np.maximum(x_train @ proj, 0), np.maximum(x_test @ proj, 0)

    # pinv returns the minimum-norm fit once there are more features than examples
    coef = np.linalg.pinv(f_train) @ y_train
    test_mse = np.mean((f_test @ coef - y_test) ** 2)
    print(f"{n_features:5d} features: test MSE {test_mse:8.2f}")

El error de prueba baja de 3,37 a 2,98 entre 10 y 20 características, sube a 42,12 con 30 y a unos 3960 con 40 características, cuando el modelo puede interpolar exactamente los 40 puntos, y luego cae a 29,01 con 50, a 2,72 con 100 y a 1,33 con 1000 características, muy por debajo del mejor modelo pequeño.

Por modelo, por época y por muestra#

La doble curva descendente se observa en tres ejes. La doble curva descendente según el modelo, la curva clásica, representa el error de prueba frente al tamaño del modelo, como la anchura de la red, con un presupuesto de entrenamiento fijo. La doble curva descendente según las épocas representa el error frente al tiempo de entrenamiento en épocas para un modelo grande, de modo que el error de validación puede mejorar, empeorar y volver a mejorar a medida que continúa el entrenamiento. La doble curva descendente según las muestras representa el error frente al tamaño del conjunto de entrenamiento: más datos desplazan el umbral hacia modelos más grandes, por lo que añadir datos puede perjudicar temporalmente a un modelo de tamaño fijo.

El ruido en las etiquetas acentúa las tres formas de doble caída. Una regularización bien ajustada, como la disminución de pesos, y una ampliación de datos potente pueden reducir o eliminar el máximo, lo que explica en parte por qué suele ser menos visible en ejecuciones de entrenamiento configuradas cuidadosamente.

Hay dos fenómenos relacionados que se confunden fácilmente con este. En el grokking, la precisión de validación se mantiene cerca del azar mucho después de que la precisión de entrenamiento alcance el 100 % y, luego, da un salto, sin empeorar antes. Las leyes de escalado describen la mejora gradual de los modelos grandes al aumentar los parámetros, los datos y la capacidad de cálculo: el régimen muy a la derecha del pico de interpolación.

Implicaciones para el entrenamiento de modelos de visión#

La variante según las épocas es la más relevante en el día a día: que una métrica de validación baje a mitad del entrenamiento no siempre significa que el entrenamiento haya alcanzado su máximo. Al entrenar modelos Ultralytics YOLO26 en modo de entrenamiento, el argumento patience solo da por terminado el entrenamiento tras 100 épocas sin mejoras en la aptitud de validación, de forma predeterminada, y el punto de control con la mejor aptitud se guarda como best.pt; así, un repunte temporal no termina el entrenamiento ni sustituye a los mejores pesos.

El ruido en las etiquetas determina la intensidad del pico según el modelo. En los experimentos de Harvard y OpenAI, los modelos ResNet18 de anchura creciente entrenados con CIFAR-10 y etiquetas limpias solo mostraron una meseta en el error de prueba alrededor del umbral de interpolación. Al añadir ruido a las etiquetas, esa meseta se convirtió en un pico; con un 15 % de las etiquetas de entrenamiento aleatorizadas, las redes de tamaño intermedio obtuvieron peores resultados de prueba que las más estrechas y las más anchas.

Explora las soluciones

Visión artificial en el deporte

Visión artificial en el deporte

Descubre cómo Ultralytics YOLO impulsa la visión artificial en el deporte con el seguimiento de jugadores y balones, analíticas de rendimiento, información útil para entrenadores y rehabilitación de deportistas.
Más información
Visión artificial para imágenes aéreas

Visión artificial para imágenes aéreas

Convierte imágenes aéreas y de drones en información útil en tiempo real para la agricultura, la acuicultura, la conservación y el análisis geoespacial con Ultralytics YOLO.
Más información
Visión artificial en el sector aeroespacial

Visión artificial en el sector aeroespacial

Aplica la visión artificial en el sector aeroespacial con Ultralytics YOLO para inspeccionar aeronaves, detectar objetos extraños en pistas, gestionar operaciones en tierra y detectar defectos en materiales compuestos.
Más información
Visión artificial en seguridad

Visión artificial en seguridad

Protege todas tus instalaciones con los modelos Ultralytics YOLO. La IA visual permite supervisar perímetros, detectar amenazas, reconocer matrículas y mejorar la seguridad laboral.
Más información
Visión artificial en robótica

Visión artificial en robótica

Potencia máquinas más inteligentes con los modelos Ultralytics YOLO. La IA visual en robótica impulsa la navegación autónoma, la percepción, el seguimiento de objetos y el control en tiempo real.
Más información
Visión artificial en logística

Visión artificial en logística

Agiliza la logística con modelos Ultralytics YOLO. La IA visual permite inspeccionar paquetes, clasificarlos, realizar el seguimiento de vehículos y supervisar la seguridad del almacén en tiempo real.
Más información
Visión artificial en el comercio minorista

Visión artificial en el comercio minorista

Reinventa el comercio minorista con modelos Ultralytics YOLO. La IA visual permite realizar el seguimiento del inventario, supervisar estanterías, gestionar colas y obtener información más útil sobre los clientes.
Más información
Visión artificial en el sector sanitario

Visión artificial en el sector sanitario

Desarrolla soluciones sanitarias con modelos Ultralytics YOLO. La IA visual en el sector sanitario permite acelerar el diagnóstico por imagen, mejorar los diagnósticos y supervisar a los pacientes.
Más información
Visión artificial en la fabricación

Visión artificial en la fabricación

Optimiza la fabricación con modelos Ultralytics YOLO. La IA visual mejora el control de calidad, la detección de defectos, el cumplimiento de las normas de uso de EPI y la automatización de las líneas de montaje.
Más información
Visión artificial en la automoción

Visión artificial en la automoción

Aplica la visión artificial al sector de la automoción con modelos Ultralytics YOLO. La IA visual mejora la seguridad vial, la asistencia al conductor y la automatización de vehículos para lograr carreteras más inteligentes.
Más información
Visión artificial en la agricultura

Visión artificial en la agricultura

Incorpora la IA de visión a la agricultura inteligente con modelos Ultralytics YOLO. Impulsa la monitorización de cultivos, el seguimiento del ganado y la agricultura de precisión para obtener cosechas más abundantes e inteligentes.
Más información

¡Construyamos juntos el futuro de la IA!

Inicia tu recorrido hacia el futuro del aprendizaje automático