Double Descent
Double Descent beschreibt ein Muster, bei dem der Testfehler sinkt, am Interpolationsschwellenwert seinen Höhepunkt erreicht und dann erneut sinkt, wenn Modelle größer werden oder länger trainieren.
Double Descent bezeichnet ein Muster, bei dem der Fehler eines Modells auf unbekannten Daten zunächst sinkt, dann steigt und schließlich wieder sinkt, wenn das Modell größer wird oder länger trainiert. Der Fehleranstieg erreicht seinen Höhepunkt ungefähr an dem Punkt, an dem das Modell erstmals groß genug ist, um jedes Trainingsbeispiel exakt abzubilden. Wird die Kapazität danach erhöht, sinkt der Testfehler wieder und liegt oft unter dem besten Ergebnis eines kleineren Modells.
Dieses Muster erweitert die Lehrbuchdarstellung des Bias-Varianz-Kompromisses, der eine einzelne U-förmige Kurve vorhersagt: Der Fehler sinkt, wenn ein Modell mehr Struktur erfasst, und steigt dann wieder, sobald es beginnt, Rauschen überzulernen. Das beste Modell liegt folglich irgendwo in der Mitte. Bei stark überparametrisierten Modellen wie modernen neuronalen Netzen bildet diese U-Form nur die erste Hälfte der Kurve ab. Mikhail Belkin und Kollegen gaben dem Phänomen seinen Namen in einer 2019 veröffentlichten Arbeit. Im selben Jahr zeigten Forschende von Harvard und OpenAI, dass es auch bei gängigen Deep-Learning-Modellen auftritt, darunter ResNets und Transformern.
Die Interpolationsschwelle#
Der Höchstwert liegt an der Interpolationsschwelle, also bei der Modellgröße, bei der der Trainingsfehler erstmals null erreicht. Ein Modell dieser Größe hat gerade genügend Parameter, um durch alle Trainingspunkte zu verlaufen; dafür gibt es praktisch nur eine Möglichkeit. Sind einige Beschriftungen verrauscht oder falsch, muss sich diese einzelne Lösung stark verbiegen, um sie abzubilden. Vorhersagen zwischen den Trainingspunkten werden unbeständig und der Testfehler schießt in die Höhe.
Oberhalb des Schwellenwerts können viele verschiedene Parametereinstellungen die Trainingsdaten perfekt abbilden. Gradientenbasierte Trainingsverfahren wie der stochastische Gradientenabstieg tendieren dazu, sich bei den glattesten dieser Lösungen einzupendeln. Bei linearen Modellen ist das genau die Lösung mit den kleinsten Gewichten. Zusätzliche Kapazität dient also dazu, die Funktion zwischen den Datenpunkten zu glätten. Diese implizite Bevorzugung einfacher Lösungen erklärt, warum ein Netzwerk mit weit mehr Parametern als Trainingsbeispielen trotzdem gut generalisieren kann.
Das folgende Skript bildet die Kurve anhand einer Regression mit Zufallsmerkmalen und 40 verrauschten Trainingspunkten nach. Jedes Modell passt die Lösung der kleinsten Norm nach der Methode der kleinsten Quadrate an. Die Anzahl der Zufallsmerkmale steht dabei stellvertretend für die Modellgröße:
import numpy as np
rng = np.random.default_rng(0)
n_train, dim = 40, 10
w = rng.normal(size=dim)
x_train, x_test = rng.normal(size=(n_train, dim)), rng.normal(size=(2000, dim))
y_train = x_train @ w + rng.normal(size=n_train) # noisy training labels
y_test = x_test @ w
for n_features in [10, 20, 30, 40, 50, 100, 1000]:
proj = rng.normal(size=(dim, n_features))
f_train, f_test = np.maximum(x_train @ proj, 0), np.maximum(x_test @ proj, 0)
# pinv returns the minimum-norm fit once there are more features than examples
coef = np.linalg.pinv(f_train) @ y_train
test_mse = np.mean((f_test @ coef - y_test) ** 2)
print(f"{n_features:5d} features: test MSE {test_mse:8.2f}")Der Testfehler sinkt zwischen 10 und 20 Merkmalen von 3,37 auf 2,98, steigt bei 30 Merkmalen auf 42,12 und bei 40 Merkmalen auf etwa 3.960. Bei 40 Merkmalen kann das Modell alle 40 Punkte exakt interpolieren. Danach sinkt der Fehler auf 29,01 bei 50, 2,72 bei 100 und 1,33 bei 1.000 Merkmalen – deutlich unter den Wert des besten kleinen Modells.
Double Descent nach Modellgröße, Epochen und Stichproben#
Doppelter Abstieg zeigt sich entlang dreier Achsen. Der modellbezogene doppelte Abstieg, die klassische Kurve, stellt den Testfehler bei festem Trainingsbudget der Modellgröße gegenüber, beispielsweise der Breite eines Netzwerks. Der epochenbezogene doppelte Abstieg stellt ihn bei einem großen Modell der Trainingsdauer in Epochen gegenüber. Der Validierungsfehler kann sich dabei zunächst verbessern, dann verschlechtern und mit fortgesetztem Training erneut verbessern. Der stichprobenbezogene doppelte Abstieg stellt ihn der Größe des Trainingsdatensatzes gegenüber: Mehr Daten verschieben den Schwellenwert hin zu größeren Modellen, sodass zusätzliche Daten einem Modell fester Größe vorübergehend schaden können.
Beschriftungsrauschen verstärkt alle drei Formen. Eine gut abgestimmte Regularisierung, etwa Gewichtungszerfall, und starke Datenerweiterung können den Höchstwert abflachen oder beseitigen. Das ist einer der Gründe, warum er bei sorgfältig konfigurierten Trainingsläufen oft weniger ausgeprägt ist.
Zwei verwandte Phänomene lassen sich leicht damit verwechseln. Beim Grokking bleibt die Validierungsgenauigkeit noch lange nahe am Zufallsniveau, nachdem die Trainingsgenauigkeit 100 % erreicht hat, und springt dann nach oben, ohne sich zuvor zu verschlechtern. Skalierungsgesetze beschreiben die stetige Verbesserung großer Modelle mit mehr Parametern, Daten und Rechenleistung – den Bereich weit rechts vom Interpolationsmaximum.
Bedeutung für das Training von Bildverarbeitungsmodellen#
Die epochenbezogene Form ist im Alltag besonders relevant: Eine Metrik, die sich während des Trainings vorübergehend verschlechtert, bedeutet nicht immer, dass der Lauf seinen Höhepunkt erreicht hat. Beim Trainieren von Ultralytics YOLO26-Modellen im Trainingsmodus beendet das Argument patience einen Lauf standardmäßig erst nach 100 Epochen ohne Verbesserung der Validierungsfitness. Der Checkpoint mit der besten Fitness wird als best.pt gespeichert, sodass ein vorübergehender Anstieg weder den Lauf beendet noch die besten Gewichte ersetzt.
Das Labelrauschen bestimmt, wie ausgeprägt das modellbezogene Maximum ist. In den Experimenten von Harvard und OpenAI zeigten ResNet18-Modelle mit zunehmender Breite, die mit sauberen Labels auf CIFAR-10 trainiert wurden, am Interpolationsschwellenwert lediglich ein Plateau beim Testfehler. Durch das Hinzufügen von Labelrauschen wurde daraus ein Maximum. Als 15 % der Trainingslabels zufällig verändert wurden, schnitten mittelgroße Netzwerke schlechter ab als schmalere und breitere Netzwerke.










