YOLO'yu lisansla
Ultralytics Sözlüğüne dön

Double Descent

Çift düşüş, modeller büyüdükçe veya daha uzun süre eğitildikçe test hatasının önce azalıp enterpolasyon eşiğinde zirveye çıkması, ardından yeniden azalması örüntüsüdür.

Çift alçalma, model büyüdükçe veya daha uzun süre eğitildikçe görülmemiş veriler üzerindeki hatanın önce azalıp sonra artması ve yeniden azalması örüntüsüdür. Artış, modelin her eğitim örneğini tam olarak eşleştirecek büyüklüğe ilk kez ulaştığı noktada zirve yapar. Bu noktadan sonra kapasiteyi artırmak, test hatasını yeniden düşürür; bu hata çoğu zaman daha küçük modellerin elde ettiği en iyi sonuçtan bile düşük olur.

Bu örüntü, tek bir U biçimli eğri öngören yanlılık-varyans ödünleşiminin ders kitabındaki görünümünü genişletir: model daha fazla yapıyı yakaladıkça hata düşer, ardından aşırı öğrenmeye başlayıp gürültüyü de yakaladıkça yükselir; dolayısıyla en iyi model ortalarda bir yerde bulunur. Modern sinir ağları gibi aşırı parametreli modeller için bu U biçimi, eğrinin yalnızca ilk yarısıdır. Mikhail Belkin ve çalışma arkadaşları bu olguyu adlandırdı; makaleleri 2019'da yayımlandı. Aynı yıl Harvard ve OpenAI araştırmacıları, bu olgunun ResNet'ler ve Transformer'lar dâhil standart derin öğrenme modellerinde de görüldüğünü gösterdi.

Enterpolasyon Eşiği#

Tepe noktası, eğitim hatasının ilk kez sıfıra ulaştığı model boyutu olan enterpolasyon eşiğinde yer alır. Tam bu boyuttaki bir model, her eğitim noktasından geçmeye ancak yetecek kadar parametreye sahiptir; dolayısıyla bunu yapmanın neredeyse tek bir yolu vardır. Etiketlerin bir kısmı gürültülü veya yanlışsa bu tek çözüm, söz konusu etiketlere uymak için keskin biçimde bükülmek zorunda kalır; eğitim noktaları arasındaki tahminler tutarsızlaşır ve test hatası zirve yapar.

Eşiğin ötesinde, birbirinden çok farklı pek çok parametre ayarı eğitim verilerine kusursuz biçimde uyar. Stokastik gradyan inişi gibi gradyan tabanlı eğitim yöntemleri, bu çözümlerin en düzgününe yönelir; doğrusal modellerde bu, ağırlıkları en küçük olan çözümdür. Böylece ek kapasite, noktalar arasındaki işlevi yumuşatmaya gider. Basit çözümlere yönelik bu örtük tercih, eğitim örneklerinden çok daha fazla parametresi olan bir ağın yine de iyi genelleme yapabilmesinin nedenidir.

Aşağıdaki betik, 40 gürültülü eğitim noktası üzerinde rastgele özellik regresyonu kullanarak eğriyi yeniden oluşturur. Her model minimum normlu en küçük kareler çözümüne uyar; rastgele özelliklerin sayısı model boyutunun karşılığıdır:

import numpy as np

rng = np.random.default_rng(0)
n_train, dim = 40, 10
w = rng.normal(size=dim)
x_train, x_test = rng.normal(size=(n_train, dim)), rng.normal(size=(2000, dim))
y_train = x_train @ w + rng.normal(size=n_train)  # noisy training labels
y_test = x_test @ w

for n_features in [10, 20, 30, 40, 50, 100, 1000]:
    proj = rng.normal(size=(dim, n_features))
    f_train, f_test = np.maximum(x_train @ proj, 0), np.maximum(x_test @ proj, 0)

    # pinv returns the minimum-norm fit once there are more features than examples
    coef = np.linalg.pinv(f_train) @ y_train
    test_mse = np.mean((f_test @ coef - y_test) ** 2)
    print(f"{n_features:5d} features: test MSE {test_mse:8.2f}")

Test hatası, 10 özellikteki 3.37 değerinden 20 özellikte 2.98'e düşer; 30 özellikte 42.12'ye, modelin 40 noktanın tümünden tam olarak geçebildiği 40 özellikte ise yaklaşık 3.960'a yükselir. Ardından 50 özellikte 29.01'e, 100 özellikte 2.72'ye ve 1.000 özellikte 1.33'e düşerek en iyi küçük modelin de altına iner.

Model, Epok ve Örnek Boyutlarında#

Çift düşüş üç eksende görülür. Klasik eğri olan model bazında çift düşüş, sabit bir eğitim bütçesinde test hatasını model boyutuna, örneğin ağ genişliğine göre gösterir. Dönem bazında çift düşüş, büyük bir modelde test hatasını dönemler boyunca eğitim süresine göre gösterir; bu durumda eğitim sürdükçe doğrulama hatası önce iyileşip sonra kötüleşebilir ve yeniden iyileşebilir. Örnek sayısı bazında çift düşüş ise test hatasını eğitim kümesinin boyutuna göre gösterir: daha fazla veri eşiği daha büyük modellere doğru kaydırır; bu nedenle veri eklemek, boyutu sabit bir modelin performansını geçici olarak düşürebilir.

Etiket gürültüsü, üçünü de daha belirgin hâle getirir. Ağırlık çürümesi gibi iyi ayarlanmış düzenlileştirme ve güçlü veri artırma, tepe noktasını küçültebilir veya ortadan kaldırabilir. Bu, dikkatle yapılandırılmış eğitim süreçlerinde etkinin çoğu zaman neden daha hafif görüldüğünü açıklar.

Bununla karıştırılması kolay iki ilişkili olgu vardır. Grokking sırasında eğitim doğruluğu %100'e ulaştıktan uzun süre sonra bile doğrulama doğruluğu şans düzeyinde kalır ve ardından yükselir; öncesinde kötüleşme görülmez. Ölçeklendirme yasaları ise büyük modellerin daha fazla parametre, veri ve hesaplama gücüyle düzgün biçimde iyileşmesini, yani enterpolasyon tepesinin çok sağındaki çalışma bölgesini açıklar.

Görme Modellerinin Eğitimine Etkileri#

Günlük kullanımda en önemli biçim dönem bazındaki çift düşüştür: eğitim sırasında doğrulama metriğinin gerilemesi, koşunun zirveye ulaştığı anlamına gelmez. Eğitim modunda Ultralytics YOLO26 modellerini eğitirken, patience bağımsız değişkeni varsayılan olarak doğrulama uygunluğunda artış olmadan 100 dönem geçene kadar koşuyu bitirmez; en iyi uygunluğa sahip kontrol noktası best.pt olarak kaydedilir. Dolayısıyla geçici bir artış ne koşuyu bitirir ne de en iyi ağırlıkların yerini alır.

Etiket gürültüsü, model bazındaki tepenin ne kadar keskin olduğunu belirler. Harvard ve OpenAI deneylerinde, CIFAR-10 üzerinde eğitilen, genişliği giderek artan ResNet18 modelleri temiz etiketlerle çalıştırıldığında enterpolasyon eşiği civarında test hatasında yalnızca bir plato görüldü; etiket gürültüsü eklenince bu plato tepeye dönüştü. Eğitim etiketlerinin %15'i rastgeleleştirildiğinde orta boy ağların test performansı hem daha dar hem daha geniş ağlardan kötü oldu.

Çözümleri keşfet

Sporda bilgisayarlı görü

Sporda bilgisayarlı görü

Ultralytics YOLO'nun oyuncu ve top takibi, performans analitiği, antrenörlük içgörüleri ve sporcu rehabilitasyonuyla spor alanında görsel yapay zekâyı nasıl güçlendirdiğini keşfet.
Daha fazla bilgi edin
Hava görüntüleri için bilgisayarlı görü

Hava görüntüleri için bilgisayarlı görü

İHA ve hava görüntülerini Ultralytics YOLO ile tarım, su ürünleri yetiştiriciliği, koruma çalışmaları ve jeo-uzamsal analiz için gerçek zamanlı içgörülere dönüştür.
Daha fazla bilgi edin
Havacılıkta bilgisayarlı görü

Havacılıkta bilgisayarlı görü

Uçak denetimi, pistteki yabancı madde tespiti, havaalanı yer operasyonları ve kompozit malzeme kusurlarının tespiti için Ultralytics YOLO ile havacılık ve uzay sektöründe bilgisayarlı görü uygula.
Daha fazla bilgi edin
Güvenlikte bilgisayarlı görü

Güvenlikte bilgisayarlı görü

Ultralytics YOLO modelleriyle her sahayı koru. Görsel yapay zekâ; çevre izleme, tehdit tespiti, plaka tanıma ve iş yeri güvenliğini destekler.
Daha fazla bilgi edin
Robotikte bilgisayarlı görü

Robotikte bilgisayarlı görü

Ultralytics YOLO modelleriyle daha akıllı makinelere güç ver. Robotikte görsel yapay zekâ; otonom navigasyonu, algılamayı, nesne takibini ve gerçek zamanlı kontrolü destekler.
Daha fazla bilgi edin
Lojistikte bilgisayarlı görü

Lojistikte bilgisayarlı görü

Ultralytics YOLO modelleriyle lojistiği kolaylaştır. Görüntü yapay zekâsı; paket denetimini, ayrıştırmayı, araç takibini ve gerçek zamanlı depo güvenliği izlemeyi mümkün kılar.
Daha fazla bilgi edin
Perakendede bilgisayarlı görü

Perakendede bilgisayarlı görü

Ultralytics YOLO modelleriyle perakendeyi yeniden tasarla. Görüntü yapay zekâsı; envanter takibini, raf izlemeyi, kuyruk yönetimini ve daha kapsamlı müşteri analizlerini mümkün kılar.
Daha fazla bilgi edin
Sağlık hizmetlerinde bilgisayarlı görü

Sağlık hizmetlerinde bilgisayarlı görü

Ultralytics YOLO modelleriyle sağlık çözümleri geliştir. Sağlık hizmetlerinde görüntü yapay zekâsı; daha hızlı tıbbi görüntüleme, daha akıllı tanı ve hasta takibini mümkün kılar.
Daha fazla bilgi edin
Üretimde bilgisayarlı görü

Üretimde bilgisayarlı görü

Ultralytics YOLO modelleriyle üretimi optimize et. Görsel yapay zekâ; kalite kontrolünü, kusur tespitini, kişisel koruyucu donanım uyumunu ve montaj hattı otomasyonunu destekler.
Daha fazla bilgi edin
Otomotivde bilgisayarlı görü

Otomotivde bilgisayarlı görü

Ultralytics YOLO modelleriyle otomotivde bilgisayarlı görüden yararlan. Görsel yapay zekâ; daha akıllı yollar için yol güvenliğini, sürüş desteğini ve araç otomasyonunu ileri taşır.
Daha fazla bilgi edin
Tarımda bilgisayarlı görü

Tarımda bilgisayarlı görü

Ultralytics YOLO modelleriyle akıllı tarıma görüntü yapay zekâsı kazandır. Daha yüksek ve akıllı verim için mahsul izleme, hayvan takibi ve hassas tarımı destekle.
Daha fazla bilgi edin

Geleceğin yapay zekasını birlikte inşa edelim!

Makine öğreniminin geleceğine yolculuğuna başla