Double Descent
Çift düşüş, modeller büyüdükçe veya daha uzun süre eğitildikçe test hatasının önce azalıp enterpolasyon eşiğinde zirveye çıkması, ardından yeniden azalması örüntüsüdür.
Çift alçalma, model büyüdükçe veya daha uzun süre eğitildikçe görülmemiş veriler üzerindeki hatanın önce azalıp sonra artması ve yeniden azalması örüntüsüdür. Artış, modelin her eğitim örneğini tam olarak eşleştirecek büyüklüğe ilk kez ulaştığı noktada zirve yapar. Bu noktadan sonra kapasiteyi artırmak, test hatasını yeniden düşürür; bu hata çoğu zaman daha küçük modellerin elde ettiği en iyi sonuçtan bile düşük olur.
Bu örüntü, tek bir U biçimli eğri öngören yanlılık-varyans ödünleşiminin ders kitabındaki görünümünü genişletir: model daha fazla yapıyı yakaladıkça hata düşer, ardından aşırı öğrenmeye başlayıp gürültüyü de yakaladıkça yükselir; dolayısıyla en iyi model ortalarda bir yerde bulunur. Modern sinir ağları gibi aşırı parametreli modeller için bu U biçimi, eğrinin yalnızca ilk yarısıdır. Mikhail Belkin ve çalışma arkadaşları bu olguyu adlandırdı; makaleleri 2019'da yayımlandı. Aynı yıl Harvard ve OpenAI araştırmacıları, bu olgunun ResNet'ler ve Transformer'lar dâhil standart derin öğrenme modellerinde de görüldüğünü gösterdi.
Enterpolasyon Eşiği#
Tepe noktası, eğitim hatasının ilk kez sıfıra ulaştığı model boyutu olan enterpolasyon eşiğinde yer alır. Tam bu boyuttaki bir model, her eğitim noktasından geçmeye ancak yetecek kadar parametreye sahiptir; dolayısıyla bunu yapmanın neredeyse tek bir yolu vardır. Etiketlerin bir kısmı gürültülü veya yanlışsa bu tek çözüm, söz konusu etiketlere uymak için keskin biçimde bükülmek zorunda kalır; eğitim noktaları arasındaki tahminler tutarsızlaşır ve test hatası zirve yapar.
Eşiğin ötesinde, birbirinden çok farklı pek çok parametre ayarı eğitim verilerine kusursuz biçimde uyar. Stokastik gradyan inişi gibi gradyan tabanlı eğitim yöntemleri, bu çözümlerin en düzgününe yönelir; doğrusal modellerde bu, ağırlıkları en küçük olan çözümdür. Böylece ek kapasite, noktalar arasındaki işlevi yumuşatmaya gider. Basit çözümlere yönelik bu örtük tercih, eğitim örneklerinden çok daha fazla parametresi olan bir ağın yine de iyi genelleme yapabilmesinin nedenidir.
Aşağıdaki betik, 40 gürültülü eğitim noktası üzerinde rastgele özellik regresyonu kullanarak eğriyi yeniden oluşturur. Her model minimum normlu en küçük kareler çözümüne uyar; rastgele özelliklerin sayısı model boyutunun karşılığıdır:
import numpy as np
rng = np.random.default_rng(0)
n_train, dim = 40, 10
w = rng.normal(size=dim)
x_train, x_test = rng.normal(size=(n_train, dim)), rng.normal(size=(2000, dim))
y_train = x_train @ w + rng.normal(size=n_train) # noisy training labels
y_test = x_test @ w
for n_features in [10, 20, 30, 40, 50, 100, 1000]:
proj = rng.normal(size=(dim, n_features))
f_train, f_test = np.maximum(x_train @ proj, 0), np.maximum(x_test @ proj, 0)
# pinv returns the minimum-norm fit once there are more features than examples
coef = np.linalg.pinv(f_train) @ y_train
test_mse = np.mean((f_test @ coef - y_test) ** 2)
print(f"{n_features:5d} features: test MSE {test_mse:8.2f}")Test hatası, 10 özellikteki 3.37 değerinden 20 özellikte 2.98'e düşer; 30 özellikte 42.12'ye, modelin 40 noktanın tümünden tam olarak geçebildiği 40 özellikte ise yaklaşık 3.960'a yükselir. Ardından 50 özellikte 29.01'e, 100 özellikte 2.72'ye ve 1.000 özellikte 1.33'e düşerek en iyi küçük modelin de altına iner.
Model, Epok ve Örnek Boyutlarında#
Çift düşüş üç eksende görülür. Klasik eğri olan model bazında çift düşüş, sabit bir eğitim bütçesinde test hatasını model boyutuna, örneğin ağ genişliğine göre gösterir. Dönem bazında çift düşüş, büyük bir modelde test hatasını dönemler boyunca eğitim süresine göre gösterir; bu durumda eğitim sürdükçe doğrulama hatası önce iyileşip sonra kötüleşebilir ve yeniden iyileşebilir. Örnek sayısı bazında çift düşüş ise test hatasını eğitim kümesinin boyutuna göre gösterir: daha fazla veri eşiği daha büyük modellere doğru kaydırır; bu nedenle veri eklemek, boyutu sabit bir modelin performansını geçici olarak düşürebilir.
Etiket gürültüsü, üçünü de daha belirgin hâle getirir. Ağırlık çürümesi gibi iyi ayarlanmış düzenlileştirme ve güçlü veri artırma, tepe noktasını küçültebilir veya ortadan kaldırabilir. Bu, dikkatle yapılandırılmış eğitim süreçlerinde etkinin çoğu zaman neden daha hafif görüldüğünü açıklar.
Bununla karıştırılması kolay iki ilişkili olgu vardır. Grokking sırasında eğitim doğruluğu %100'e ulaştıktan uzun süre sonra bile doğrulama doğruluğu şans düzeyinde kalır ve ardından yükselir; öncesinde kötüleşme görülmez. Ölçeklendirme yasaları ise büyük modellerin daha fazla parametre, veri ve hesaplama gücüyle düzgün biçimde iyileşmesini, yani enterpolasyon tepesinin çok sağındaki çalışma bölgesini açıklar.
Görme Modellerinin Eğitimine Etkileri#
Günlük kullanımda en önemli biçim dönem bazındaki çift düşüştür: eğitim sırasında doğrulama metriğinin gerilemesi, koşunun zirveye ulaştığı anlamına gelmez. Eğitim modunda Ultralytics YOLO26 modellerini eğitirken, patience bağımsız değişkeni varsayılan olarak doğrulama uygunluğunda artış olmadan 100 dönem geçene kadar koşuyu bitirmez; en iyi uygunluğa sahip kontrol noktası best.pt olarak kaydedilir. Dolayısıyla geçici bir artış ne koşuyu bitirir ne de en iyi ağırlıkların yerini alır.
Etiket gürültüsü, model bazındaki tepenin ne kadar keskin olduğunu belirler. Harvard ve OpenAI deneylerinde, CIFAR-10 üzerinde eğitilen, genişliği giderek artan ResNet18 modelleri temiz etiketlerle çalıştırıldığında enterpolasyon eşiği civarında test hatasında yalnızca bir plato görüldü; etiket gürültüsü eklenince bu plato tepeye dönüştü. Eğitim etiketlerinin %15'i rastgeleleştirildiğinde orta boy ağların test performansı hem daha dar hem daha geniş ağlardan kötü oldu.










