Licence YOLO
Retour au glossaire Ultralytics

Double Descent

La double descente est un phénomène où l’erreur de test diminue, atteint un pic au seuil d’interpolation, puis diminue à nouveau quand les modèles deviennent plus grands ou sont entraînés plus longtemps.

La double descente est un phénomène où l’erreur d’un modèle sur des données non vues diminue, augmente, puis diminue de nouveau à mesure que le modèle grandit ou s’entraîne plus longtemps. La hausse atteint son maximum près du point où le modèle devient juste assez grand pour ajuster exactement chaque exemple d’entraînement. Au-delà, l’ajout de capacité fait à nouveau baisser l’erreur de test, souvent sous le meilleur résultat obtenu par n’importe quel modèle plus petit.

Ce phénomène étend la représentation classique du compromis biais-variance, qui prédit une unique courbe en U : l’erreur diminue à mesure que le modèle capture davantage de structure, puis augmente lorsqu’il commence à surapprendre le bruit, de sorte que le meilleur modèle se situe quelque part au milieu. Pour les modèles fortement surparamétrés, comme les réseaux neuronaux modernes, cette courbe en U ne représente que la première moitié de la courbe. Mikhail Belkin et ses collègues ont nommé le phénomène dans un article publié en 2019, et des chercheurs de Harvard et d’OpenAI ont montré la même année qu’il apparaissait dans des modèles standards d’apprentissage profond, notamment les ResNets et les transformers.

Le seuil d’interpolation#

Le pic se situe au seuil d’interpolation, c’est-à-dire à la taille du modèle pour laquelle l’erreur d’entraînement devient nulle pour la première fois. Un modèle de cette taille dispose tout juste d’assez de paramètres pour passer par chaque point d’entraînement ; il n’existe donc pratiquement qu’une seule façon de le faire. Si certaines étiquettes sont bruitées ou erronées, cette solution unique doit fortement se déformer pour les ajuster. Les prédictions entre les points d’entraînement deviennent alors erratiques et l’erreur de test bondit.

Au-delà du seuil, de nombreux réglages de paramètres différents ajustent parfaitement les données d’entraînement. Les méthodes d’entraînement fondées sur le gradient, comme la descente de gradient stochastique, tendent à converger vers la solution la plus lisse ; dans les modèles linéaires, il s’agit exactement de celle dont les poids sont les plus faibles. La capacité supplémentaire sert donc à lisser la fonction entre les points. Cette préférence implicite pour les solutions simples explique pourquoi un réseau comportant bien plus de paramètres que d’exemples d’entraînement peut tout de même bien généraliser.

Le script ci-dessous reproduit la courbe par régression à caractéristiques aléatoires sur 40 points d’entraînement bruités. Chaque modèle ajuste la solution des moindres carrés de norme minimale, et le nombre de caractéristiques aléatoires joue le rôle de taille du modèle :

import numpy as np

rng = np.random.default_rng(0)
n_train, dim = 40, 10
w = rng.normal(size=dim)
x_train, x_test = rng.normal(size=(n_train, dim)), rng.normal(size=(2000, dim))
y_train = x_train @ w + rng.normal(size=n_train)  # noisy training labels
y_test = x_test @ w

for n_features in [10, 20, 30, 40, 50, 100, 1000]:
    proj = rng.normal(size=(dim, n_features))
    f_train, f_test = np.maximum(x_train @ proj, 0), np.maximum(x_test @ proj, 0)

    # pinv returns the minimum-norm fit once there are more features than examples
    coef = np.linalg.pinv(f_train) @ y_train
    test_mse = np.mean((f_test @ coef - y_test) ** 2)
    print(f"{n_features:5d} features: test MSE {test_mse:8.2f}")

L’erreur de test passe de 3,37 à 2,98 entre 10 et 20 caractéristiques, grimpe à 42,12 à 30 et à environ 3 960 à 40 caractéristiques, où le modèle peut interpoler exactement les 40 points, puis redescend à 29,01 à 50, à 2,72 à 100 et à 1,33 à 1 000 caractéristiques, bien en dessous du meilleur petit modèle.

Selon le modèle, les époques et les exemples#

La double descente apparaît selon trois axes. La double descente en fonction du modèle, la courbe classique, représente l’erreur de test en fonction de la taille du modèle, par exemple la largeur du réseau, pour un budget d’entraînement fixe. La double descente en fonction des époques la représente en fonction du temps d’entraînement en époques pour un grand modèle : l’erreur de validation peut alors s’améliorer, se dégrader, puis s’améliorer à nouveau au fil de l’entraînement. La double descente en fonction des échantillons la représente en fonction de la taille du jeu d’entraînement : davantage de données repousse le seuil vers les modèles plus grands, si bien que l’ajout de données peut temporairement nuire à un modèle de taille fixe.

Le bruit dans les étiquettes accentue les trois formes. Une régularisation bien réglée, comme la décroissance des poids, et une augmentation des données poussée peuvent réduire ou éliminer le pic, ce qui explique en partie pourquoi il est souvent atténué dans les entraînements configurés avec soin.

Deux phénomènes connexes sont faciles à confondre avec celui-ci. Dans le grokking, la précision de validation reste proche du hasard longtemps après que la précision d’entraînement atteint 100 %, puis bondit sans s’être d’abord dégradée. Les lois d’échelle décrivent l’amélioration progressive des grands modèles quand on augmente le nombre de paramètres, de données et la puissance de calcul, un régime situé bien à droite du pic d’interpolation.

Conséquences pour l’entraînement des modèles de vision#

La forme en fonction des époques est la plus importante au quotidien : une métrique de validation qui baisse au milieu de l’entraînement ne signifie pas toujours que l’exécution a atteint son maximum. Lors de l’entraînement de modèles Ultralytics YOLO26 en mode entraînement, l’argument patience met fin à l’exécution par défaut uniquement après 100 époques sans amélioration de la fitness de validation, et le point de contrôle ayant la meilleure fitness est enregistré sous best.pt ; une hausse temporaire ne met donc pas fin à l’exécution et ne remplace pas les meilleurs poids.

Le bruit dans les étiquettes détermine la netteté du pic en fonction du modèle. Dans les expériences de Harvard et d’OpenAI, les modèles ResNet18 de largeur croissante entraînés sur CIFAR-10 avec des étiquettes propres ne présentaient qu’un plateau de l’erreur de test autour du seuil d’interpolation ; l’ajout de bruit aux étiquettes a transformé ce plateau en pic. Lorsque 15 % des étiquettes d’entraînement étaient attribuées au hasard, les réseaux de taille moyenne obtenaient de moins bons résultats en test que les réseaux plus étroits ou plus larges.

Découvre les solutions

La vision par ordinateur dans le sport

La vision par ordinateur dans le sport

Découvre comment Ultralytics YOLO propulse la vision par ordinateur dans le sport grâce au suivi des joueurs et du ballon, aux analyses de performance, aux conseils d’entraînement et à la rééducation des athlètes.
En savoir plus
Vision par ordinateur pour les images aériennes

Vision par ordinateur pour les images aériennes

Transforme les images de drones et les images aériennes en informations exploitables en temps réel pour l’agriculture, l’aquaculture, la conservation et l’analyse géospatiale avec Ultralytics YOLO.
En savoir plus
Vision par ordinateur dans l’aérospatiale

Vision par ordinateur dans l’aérospatiale

Applique la vision par ordinateur dans l’aérospatiale avec Ultralytics YOLO pour l’inspection des aéronefs, la détection des corps étrangers sur les pistes, les opérations au sol des aéroports et la détection des défauts des matériaux composites.
En savoir plus
La vision par ordinateur dans la sécurité

La vision par ordinateur dans la sécurité

Protège chaque site avec les modèles Ultralytics YOLO. L’IA visuelle permet la surveillance des périmètres, la détection des menaces, la reconnaissance des plaques d’immatriculation et la sécurité au travail.
En savoir plus
La vision par ordinateur en robotique

La vision par ordinateur en robotique

Donne plus de capacités à tes machines grâce aux modèles Ultralytics YOLO. Dans la robotique, l’IA visuelle permet la navigation autonome, la perception, le suivi des objets et le contrôle en temps réel.
En savoir plus
La vision par ordinateur dans la logistique

La vision par ordinateur dans la logistique

Optimise la logistique avec les modèles Ultralytics YOLO. La vision par IA permet d’inspecter les colis, de les trier, de suivre les véhicules et de surveiller la sécurité des entrepôts en temps réel.
En savoir plus
La vision par ordinateur dans le commerce de détail

La vision par ordinateur dans le commerce de détail

Réinvente le commerce de détail avec les modèles Ultralytics YOLO. La vision par IA permet de suivre les stocks, de surveiller les rayons, de gérer les files d’attente et de mieux comprendre les clients.
En savoir plus
La vision par ordinateur dans le secteur de la santé

La vision par ordinateur dans le secteur de la santé

Crée des solutions de santé avec les modèles Ultralytics YOLO. La vision par IA dans le secteur de la santé accélère l’imagerie médicale, améliore les diagnostics et facilite la surveillance des patients.
En savoir plus
La vision par ordinateur dans l’industrie manufacturière

La vision par ordinateur dans l’industrie manufacturière

Optimise la fabrication avec les modèles Ultralytics YOLO. La vision par IA améliore le contrôle qualité, la détection des défauts, le respect des règles concernant les EPI et l’automatisation des chaînes de montage.
En savoir plus
La vision par ordinateur dans l’automobile

La vision par ordinateur dans l’automobile

Mets la vision par ordinateur au service de l’automobile avec les modèles Ultralytics YOLO. La vision par IA renforce la sécurité routière, l’aide à la conduite et l’automatisation des véhicules pour des routes plus intelligentes.
En savoir plus
Vision par ordinateur dans l’agriculture

Vision par ordinateur dans l’agriculture

Fais entrer l’IA de vision dans l’agriculture intelligente avec les modèles Ultralytics YOLO. Optimise le suivi des cultures et du bétail ainsi que l’agriculture de précision pour obtenir des rendements plus élevés et plus intelligents.
En savoir plus

Construisons ensemble l’avenir de l’IA !

Commence ton parcours vers l’avenir de l’apprentissage automatique