Double Descent
La double descente est un phénomène où l’erreur de test diminue, atteint un pic au seuil d’interpolation, puis diminue à nouveau quand les modèles deviennent plus grands ou sont entraînés plus longtemps.
La double descente est un phénomène où l’erreur d’un modèle sur des données non vues diminue, augmente, puis diminue de nouveau à mesure que le modèle grandit ou s’entraîne plus longtemps. La hausse atteint son maximum près du point où le modèle devient juste assez grand pour ajuster exactement chaque exemple d’entraînement. Au-delà, l’ajout de capacité fait à nouveau baisser l’erreur de test, souvent sous le meilleur résultat obtenu par n’importe quel modèle plus petit.
Ce phénomène étend la représentation classique du compromis biais-variance, qui prédit une unique courbe en U : l’erreur diminue à mesure que le modèle capture davantage de structure, puis augmente lorsqu’il commence à surapprendre le bruit, de sorte que le meilleur modèle se situe quelque part au milieu. Pour les modèles fortement surparamétrés, comme les réseaux neuronaux modernes, cette courbe en U ne représente que la première moitié de la courbe. Mikhail Belkin et ses collègues ont nommé le phénomène dans un article publié en 2019, et des chercheurs de Harvard et d’OpenAI ont montré la même année qu’il apparaissait dans des modèles standards d’apprentissage profond, notamment les ResNets et les transformers.
Le seuil d’interpolation#
Le pic se situe au seuil d’interpolation, c’est-à-dire à la taille du modèle pour laquelle l’erreur d’entraînement devient nulle pour la première fois. Un modèle de cette taille dispose tout juste d’assez de paramètres pour passer par chaque point d’entraînement ; il n’existe donc pratiquement qu’une seule façon de le faire. Si certaines étiquettes sont bruitées ou erronées, cette solution unique doit fortement se déformer pour les ajuster. Les prédictions entre les points d’entraînement deviennent alors erratiques et l’erreur de test bondit.
Au-delà du seuil, de nombreux réglages de paramètres différents ajustent parfaitement les données d’entraînement. Les méthodes d’entraînement fondées sur le gradient, comme la descente de gradient stochastique, tendent à converger vers la solution la plus lisse ; dans les modèles linéaires, il s’agit exactement de celle dont les poids sont les plus faibles. La capacité supplémentaire sert donc à lisser la fonction entre les points. Cette préférence implicite pour les solutions simples explique pourquoi un réseau comportant bien plus de paramètres que d’exemples d’entraînement peut tout de même bien généraliser.
Le script ci-dessous reproduit la courbe par régression à caractéristiques aléatoires sur 40 points d’entraînement bruités. Chaque modèle ajuste la solution des moindres carrés de norme minimale, et le nombre de caractéristiques aléatoires joue le rôle de taille du modèle :
import numpy as np
rng = np.random.default_rng(0)
n_train, dim = 40, 10
w = rng.normal(size=dim)
x_train, x_test = rng.normal(size=(n_train, dim)), rng.normal(size=(2000, dim))
y_train = x_train @ w + rng.normal(size=n_train) # noisy training labels
y_test = x_test @ w
for n_features in [10, 20, 30, 40, 50, 100, 1000]:
proj = rng.normal(size=(dim, n_features))
f_train, f_test = np.maximum(x_train @ proj, 0), np.maximum(x_test @ proj, 0)
# pinv returns the minimum-norm fit once there are more features than examples
coef = np.linalg.pinv(f_train) @ y_train
test_mse = np.mean((f_test @ coef - y_test) ** 2)
print(f"{n_features:5d} features: test MSE {test_mse:8.2f}")L’erreur de test passe de 3,37 à 2,98 entre 10 et 20 caractéristiques, grimpe à 42,12 à 30 et à environ 3 960 à 40 caractéristiques, où le modèle peut interpoler exactement les 40 points, puis redescend à 29,01 à 50, à 2,72 à 100 et à 1,33 à 1 000 caractéristiques, bien en dessous du meilleur petit modèle.
Selon le modèle, les époques et les exemples#
La double descente apparaît selon trois axes. La double descente en fonction du modèle, la courbe classique, représente l’erreur de test en fonction de la taille du modèle, par exemple la largeur du réseau, pour un budget d’entraînement fixe. La double descente en fonction des époques la représente en fonction du temps d’entraînement en époques pour un grand modèle : l’erreur de validation peut alors s’améliorer, se dégrader, puis s’améliorer à nouveau au fil de l’entraînement. La double descente en fonction des échantillons la représente en fonction de la taille du jeu d’entraînement : davantage de données repousse le seuil vers les modèles plus grands, si bien que l’ajout de données peut temporairement nuire à un modèle de taille fixe.
Le bruit dans les étiquettes accentue les trois formes. Une régularisation bien réglée, comme la décroissance des poids, et une augmentation des données poussée peuvent réduire ou éliminer le pic, ce qui explique en partie pourquoi il est souvent atténué dans les entraînements configurés avec soin.
Deux phénomènes connexes sont faciles à confondre avec celui-ci. Dans le grokking, la précision de validation reste proche du hasard longtemps après que la précision d’entraînement atteint 100 %, puis bondit sans s’être d’abord dégradée. Les lois d’échelle décrivent l’amélioration progressive des grands modèles quand on augmente le nombre de paramètres, de données et la puissance de calcul, un régime situé bien à droite du pic d’interpolation.
Conséquences pour l’entraînement des modèles de vision#
La forme en fonction des époques est la plus importante au quotidien : une métrique de validation qui baisse au milieu de l’entraînement ne signifie pas toujours que l’exécution a atteint son maximum. Lors de l’entraînement de modèles Ultralytics YOLO26 en mode entraînement, l’argument patience met fin à l’exécution par défaut uniquement après 100 époques sans amélioration de la fitness de validation, et le point de contrôle ayant la meilleure fitness est enregistré sous best.pt ; une hausse temporaire ne met donc pas fin à l’exécution et ne remplace pas les meilleurs poids.
Le bruit dans les étiquettes détermine la netteté du pic en fonction du modèle. Dans les expériences de Harvard et d’OpenAI, les modèles ResNet18 de largeur croissante entraînés sur CIFAR-10 avec des étiquettes propres ne présentaient qu’un plateau de l’erreur de test autour du seuil d’interpolation ; l’ajout de bruit aux étiquettes a transformé ce plateau en pic. Lorsque 15 % des étiquettes d’entraînement étaient attribuées au hasard, les réseaux de taille moyenne obtenaient de moins bons résultats en test que les réseaux plus étroits ou plus larges.










