YOLO lizenzieren
Zurück zum Ultralytics-Glossar

Double Descent

Double Descent beschreibt ein Muster, bei dem der Testfehler sinkt, am Interpolationsschwellenwert seinen Höhepunkt erreicht und dann erneut sinkt, wenn Modelle größer werden oder länger trainieren.

Double Descent bezeichnet ein Muster, bei dem der Fehler eines Modells auf unbekannten Daten zunächst sinkt, dann steigt und schließlich wieder sinkt, wenn das Modell größer wird oder länger trainiert. Der Fehleranstieg erreicht seinen Höhepunkt ungefähr an dem Punkt, an dem das Modell erstmals groß genug ist, um jedes Trainingsbeispiel exakt abzubilden. Wird die Kapazität danach erhöht, sinkt der Testfehler wieder und liegt oft unter dem besten Ergebnis eines kleineren Modells.

Dieses Muster erweitert die Lehrbuchdarstellung des Bias-Varianz-Kompromisses, der eine einzelne U-förmige Kurve vorhersagt: Der Fehler sinkt, wenn ein Modell mehr Struktur erfasst, und steigt dann wieder, sobald es beginnt, Rauschen überzulernen. Das beste Modell liegt folglich irgendwo in der Mitte. Bei stark überparametrisierten Modellen wie modernen neuronalen Netzen bildet diese U-Form nur die erste Hälfte der Kurve ab. Mikhail Belkin und Kollegen gaben dem Phänomen seinen Namen in einer 2019 veröffentlichten Arbeit. Im selben Jahr zeigten Forschende von Harvard und OpenAI, dass es auch bei gängigen Deep-Learning-Modellen auftritt, darunter ResNets und Transformern.

Die Interpolationsschwelle#

Der Höchstwert liegt an der Interpolationsschwelle, also bei der Modellgröße, bei der der Trainingsfehler erstmals null erreicht. Ein Modell dieser Größe hat gerade genügend Parameter, um durch alle Trainingspunkte zu verlaufen; dafür gibt es praktisch nur eine Möglichkeit. Sind einige Beschriftungen verrauscht oder falsch, muss sich diese einzelne Lösung stark verbiegen, um sie abzubilden. Vorhersagen zwischen den Trainingspunkten werden unbeständig und der Testfehler schießt in die Höhe.

Oberhalb des Schwellenwerts können viele verschiedene Parametereinstellungen die Trainingsdaten perfekt abbilden. Gradientenbasierte Trainingsverfahren wie der stochastische Gradientenabstieg tendieren dazu, sich bei den glattesten dieser Lösungen einzupendeln. Bei linearen Modellen ist das genau die Lösung mit den kleinsten Gewichten. Zusätzliche Kapazität dient also dazu, die Funktion zwischen den Datenpunkten zu glätten. Diese implizite Bevorzugung einfacher Lösungen erklärt, warum ein Netzwerk mit weit mehr Parametern als Trainingsbeispielen trotzdem gut generalisieren kann.

Das folgende Skript bildet die Kurve anhand einer Regression mit Zufallsmerkmalen und 40 verrauschten Trainingspunkten nach. Jedes Modell passt die Lösung der kleinsten Norm nach der Methode der kleinsten Quadrate an. Die Anzahl der Zufallsmerkmale steht dabei stellvertretend für die Modellgröße:

import numpy as np

rng = np.random.default_rng(0)
n_train, dim = 40, 10
w = rng.normal(size=dim)
x_train, x_test = rng.normal(size=(n_train, dim)), rng.normal(size=(2000, dim))
y_train = x_train @ w + rng.normal(size=n_train)  # noisy training labels
y_test = x_test @ w

for n_features in [10, 20, 30, 40, 50, 100, 1000]:
    proj = rng.normal(size=(dim, n_features))
    f_train, f_test = np.maximum(x_train @ proj, 0), np.maximum(x_test @ proj, 0)

    # pinv returns the minimum-norm fit once there are more features than examples
    coef = np.linalg.pinv(f_train) @ y_train
    test_mse = np.mean((f_test @ coef - y_test) ** 2)
    print(f"{n_features:5d} features: test MSE {test_mse:8.2f}")

Der Testfehler sinkt zwischen 10 und 20 Merkmalen von 3,37 auf 2,98, steigt bei 30 Merkmalen auf 42,12 und bei 40 Merkmalen auf etwa 3.960. Bei 40 Merkmalen kann das Modell alle 40 Punkte exakt interpolieren. Danach sinkt der Fehler auf 29,01 bei 50, 2,72 bei 100 und 1,33 bei 1.000 Merkmalen – deutlich unter den Wert des besten kleinen Modells.

Double Descent nach Modellgröße, Epochen und Stichproben#

Doppelter Abstieg zeigt sich entlang dreier Achsen. Der modellbezogene doppelte Abstieg, die klassische Kurve, stellt den Testfehler bei festem Trainingsbudget der Modellgröße gegenüber, beispielsweise der Breite eines Netzwerks. Der epochenbezogene doppelte Abstieg stellt ihn bei einem großen Modell der Trainingsdauer in Epochen gegenüber. Der Validierungsfehler kann sich dabei zunächst verbessern, dann verschlechtern und mit fortgesetztem Training erneut verbessern. Der stichprobenbezogene doppelte Abstieg stellt ihn der Größe des Trainingsdatensatzes gegenüber: Mehr Daten verschieben den Schwellenwert hin zu größeren Modellen, sodass zusätzliche Daten einem Modell fester Größe vorübergehend schaden können.

Beschriftungsrauschen verstärkt alle drei Formen. Eine gut abgestimmte Regularisierung, etwa Gewichtungszerfall, und starke Datenerweiterung können den Höchstwert abflachen oder beseitigen. Das ist einer der Gründe, warum er bei sorgfältig konfigurierten Trainingsläufen oft weniger ausgeprägt ist.

Zwei verwandte Phänomene lassen sich leicht damit verwechseln. Beim Grokking bleibt die Validierungsgenauigkeit noch lange nahe am Zufallsniveau, nachdem die Trainingsgenauigkeit 100 % erreicht hat, und springt dann nach oben, ohne sich zuvor zu verschlechtern. Skalierungsgesetze beschreiben die stetige Verbesserung großer Modelle mit mehr Parametern, Daten und Rechenleistung – den Bereich weit rechts vom Interpolationsmaximum.

Bedeutung für das Training von Bildverarbeitungsmodellen#

Die epochenbezogene Form ist im Alltag besonders relevant: Eine Metrik, die sich während des Trainings vorübergehend verschlechtert, bedeutet nicht immer, dass der Lauf seinen Höhepunkt erreicht hat. Beim Trainieren von Ultralytics YOLO26-Modellen im Trainingsmodus beendet das Argument patience einen Lauf standardmäßig erst nach 100 Epochen ohne Verbesserung der Validierungsfitness. Der Checkpoint mit der besten Fitness wird als best.pt gespeichert, sodass ein vorübergehender Anstieg weder den Lauf beendet noch die besten Gewichte ersetzt.

Das Labelrauschen bestimmt, wie ausgeprägt das modellbezogene Maximum ist. In den Experimenten von Harvard und OpenAI zeigten ResNet18-Modelle mit zunehmender Breite, die mit sauberen Labels auf CIFAR-10 trainiert wurden, am Interpolationsschwellenwert lediglich ein Plateau beim Testfehler. Durch das Hinzufügen von Labelrauschen wurde daraus ein Maximum. Als 15 % der Trainingslabels zufällig verändert wurden, schnitten mittelgroße Netzwerke schlechter ab als schmalere und breitere Netzwerke.

Lösungen entdecken

Computer Vision im Sport

Computer Vision im Sport

Entdecke, wie Ultralytics YOLO die Sportbildanalyse voranbringt – mit Spieler- und Ballverfolgung, Leistungsanalysen, Erkenntnissen für das Coaching und der Rehabilitation von Athleten.
Mehr erfahren
Computer Vision für Luftbilder

Computer Vision für Luftbilder

Verwandle Drohnen- und Luftbilder mit Ultralytics YOLO in Echtzeit-Erkenntnisse für Landwirtschaft, Aquakultur, Naturschutz und Geodatenanalyse.
Mehr erfahren
Computer Vision in der Luft- und Raumfahrt

Computer Vision in der Luft- und Raumfahrt

Setze Computer Vision in der Luft- und Raumfahrt mit Ultralytics YOLO ein – für Flugzeuginspektionen, die Erkennung von Fremdkörpern auf Start- und Landebahnen, den Bodenbetrieb am Flughafen und die Erkennung von Verbundwerkstofffehlern.
Mehr erfahren
Computer Vision im Sicherheitsbereich

Computer Vision im Sicherheitsbereich

Schütze jeden Standort mit Ultralytics YOLO-Modellen. Vision-KI ermöglicht die Überwachung von Grundstücksgrenzen, die Erkennung von Bedrohungen, die Kennzeichenerkennung und die Sicherheit am Arbeitsplatz.
Mehr erfahren
Computer Vision in der Robotik

Computer Vision in der Robotik

Mach Maschinen mit Ultralytics YOLO-Modellen leistungsfähiger. Vision-KI in der Robotik ermöglicht autonome Navigation, Wahrnehmung, Objektverfolgung und Steuerung in Echtzeit.
Mehr erfahren
Bildverarbeitung in der Logistik

Bildverarbeitung in der Logistik

Optimiere die Logistik mit Ultralytics YOLO-Modellen. Vision AI ermöglicht die Paketprüfung, Sortierung und Fahrzeugverfolgung sowie die Sicherheitsüberwachung von Lagerhäusern in Echtzeit.
Mehr erfahren
Bildverarbeitung im Einzelhandel

Bildverarbeitung im Einzelhandel

Gestalte den Einzelhandel mit Ultralytics YOLO-Modellen neu. Vision AI ermöglicht Bestandsverfolgung, Regalüberwachung und Warteschlangenmanagement und liefert bessere Einblicke in das Kundenverhalten.
Mehr erfahren
Bildverarbeitung im Gesundheitswesen

Bildverarbeitung im Gesundheitswesen

Entwickle Lösungen für das Gesundheitswesen mit Ultralytics YOLO-Modellen. Vision AI ermöglicht im Gesundheitswesen schnellere medizinische Bildgebung, bessere Diagnostik und die Überwachung von Patienten.
Mehr erfahren
Computer Vision in der Fertigung

Computer Vision in der Fertigung

Optimiere die Fertigung mit Ultralytics-YOLO-Modellen. Vision AI ermöglicht Qualitätskontrolle, Fehlererkennung, die Überprüfung der Einhaltung von Vorgaben zu persönlicher Schutzausrüstung und die Automatisierung von Montagelinien.
Mehr erfahren
Computer Vision in der Automobilbranche

Computer Vision in der Automobilbranche

Setze Computer Vision in der Automobilbranche mit Ultralytics-YOLO-Modellen ein. Vision AI verbessert die Verkehrssicherheit, Fahrerassistenz und Fahrzeugautomatisierung – für intelligentere Straßen.
Mehr erfahren
Computer Vision in der Landwirtschaft

Computer Vision in der Landwirtschaft

Setze mit Ultralytics YOLO-Modellen KI für Bildverarbeitung in der intelligenten Landwirtschaft ein. Ermögliche die Überwachung von Nutzpflanzen, die Verfolgung von Nutztieren und Präzisionslandwirtschaft für höhere und nachhaltigere Erträge.
Mehr erfahren

Lass uns gemeinsam die Zukunft der KI gestalten!

Starte deine Reise in die Zukunft des maschinellen Lernens