Bias-Variance Tradeoff

Yanlılık-varyans dengesi, bir modelin yeni verilerdeki beklenen hatasının, model karmaşıklığına zıt yönlerde tepki veren iki parçaya nasıl ayrıldığını açıklar. Yanlılık, gerçek örüntüyü yakalayamayacak kadar basit varsayımlardan kaynaklanan hatadır ve eksik öğrenmeye yol açar. Varyans, belirli eğitim verilerine duyarlılıktan kaynaklanan hatadır ve aşırı öğrenmeye yol açar. Modeli daha esnek hâle getirmek genellikle yanlılığı düşürürken varyansı artırır; bu nedenle toplam hata en düşük değerine orta düzeyde bir karmaşıklıkta ulaşır. Stuart Geman, Elie Bienenstock ve René Doursat, 1992 tarihli "Neural Networks and the Bias/Variance Dilemma" makalelerinde bu kavramı makine öğrenimine taşıdı.

Hata Ayrıştırması#

Bu ayrıştırma, aynı tür modelin aynı kaynaktan alınan yeni bir eğitim kümesiyle defalarca eğitildiğini varsayar. Kare hata için bir girdi noktasındaki beklenen hata tam olarak üç terime ayrılır. Yanlılığın karesi, tüm bu eğitim kümelerindeki ortalama tahmin ile gerçek değer arasındaki farkın karesidir; eğrisel bir ilişkiye uydurulan doğrusal regresyon, ne kadar veri görürse görsün yüksek yanlılığını korur. Varyans, tahminlerin bir eğitim kümesinden diğerine kendi ortalamaları çevresinde ne kadar saçıldığını ölçer ve derin karar ağaçlarında ve düzenlileştirilmemiş büyük sinir ağlarında yüksektir. Üçüncü terim olan giderilemez gürültü, etiketlerin kendi içindeki rastgeleliktir ve hiçbir model bunu ortadan kaldıramaz.

Uydurma işlemini tekrarlamak, her iki terimi de doğrudan ölçer. Bu NumPy örneği, sinüs dalgasından alınmış, gürültülü 20 noktadan oluşan 1.000 eğitim kümesine 1., 3. ve 12. dereceden polinomlar uydurur:

import numpy as np

rng = np.random.default_rng(0)
x = np.linspace(0, 1, 20)  # 20 training inputs, evenly spaced
x_test = np.linspace(0, 1, 200)
true_curve = np.sin(2 * np.pi * x_test)

for degree in [1, 3, 12]:
    # Fit the same polynomial degree to 1,000 training sets that differ only in their label noise
    predictions = []
    for _ in range(1000):
        y = np.sin(2 * np.pi * x) + rng.normal(0, 0.3, x.size)
        predictions.append(np.polyval(np.polyfit(x, y, degree), x_test))
    predictions = np.array(predictions)

    # Bias^2: squared gap between the average fit and the truth; variance: spread of fits around their average
    bias_sq = np.mean((predictions.mean(axis=0) - true_curve) ** 2)
    variance = np.mean(predictions.var(axis=0))
    print(f"Degree {degree:2d}: bias^2 = {bias_sq:.3f}, variance = {variance:.3f}")

Doğru çizgisinin yanlılığının karesi 0.205, varyansıysa yalnızca 0.008'dir. Kübik polinom, sinüs eğrisine ortalamada neredeyse tam olarak uyar; yanlılığın karesini 0.005'e indirirken varyansı ikiye katlayıp 0.016'ya çıkarır. 12. dereceden polinomun ölçülebilir bir yanlılığı yoktur; ancak her örnekteki gürültüyü takip edecek biçimde kıvrıldığı için varyansı 0.074'tür. En düşük toplam hataya kübik polinom ulaşır ve her model ayrıca 0.09'luk giderilemez varyans gürültüsünü de taşır.

Yanlılık ve Varyansı Teşhis Etme#

Eğitim ve doğrulama hataları, hangi terimin baskın olduğunu gösterir. Her ikisindeki yüksek hata yanlılığa işaret eder. Düşük eğitim hatasıyla birlikte çok daha yüksek doğrulama hatası ise varyansa işaret eder. Her iki hatayı eğitim verisi miktarına göre gösteren öğrenme eğrileri bu iki durumu ayırt eder: veriler çoğaldıkça yüksek varyanslı modelin aralığı daralır; yüksek yanlılıklı modelin iki eğrisi ise erken bir aşamada yüksek bir hata düzeyinde buluşur ve orada kalır. Ultralytics YOLO eğitimi sırasında fraction argümanı, eğitim bölümünün bir parçasıyla eğitim yapar; örneğin fraction=0.25 değeri, görüntülerinin ilk dörtte biriyle eğitim yapar. Doğrulamada ise doğrulama bölümünün tamamı kullanılır. Böylece artan veri oranlarıyla yapılan birkaç YOLO26 çalıştırması, özel bir veri kümesi için öğrenme eğrisi oluşturur.

Dengeyi Kontrol Etme#

Varyans; daha fazla veri, veri artırma, ağırlık çürümesi ve bırakma gibi düzenlileştirme, erken durdurma ve torbalama ile rastgele ormanların yaptığı gibi çok sayıda modelin ortalamasını alma yöntemleriyle düşer. Yanlılık; daha büyük model, daha zengin özellik mühendisliği, daha zayıf düzenlileştirme, daha uzun eğitim ve şimdiye kadarki topluluğun hatalarını düzelten modeller ekleyen artırma yöntemiyle düşer. Hiperparametre ayarı ve çapraz doğrulama, elde tutulmuş verilerde bu iki terimi dengeleyen ayarı seçer.

Sabit bir model ailesi, örneğin derecesi giderek artan polinomlar için karmaşıklığa göre test hatasının klasik U biçimli eğrisi geçerlidir. Aşırı parametreli sinir ağları bu eğrinin ötesine geçebilir: model her eğitim noktasına tam uyan boyuta yaklaşırken test hatası artar, ardından model daha da büyüdükçe yeniden düşer. Bu örüntüye çift iniş denir. Bu durumda da yanlılık ve varyans toplamı hatayı verir, ancak varyans artık parametre sayısıyla düzenli biçimde artmaz.

İstatistiksel Yanlılık ve Diğer Yanlılık Türleri#

Bu dengedeki yanlılık, bir öğrenme algoritmasının belirli bir görevdeki özelliğidir. Yapay zekâda yanlılık, insan gruplarına yönelik sistematik adaletsizliği; veri kümesi yanlılığı ise gece çekilmiş trafik görüntülerinin az olması gibi, dağıtım ortamını doğru yansıtmayan eğitim verilerini ifade eder. Bir model düşük istatistiksel yanlılığa sahipken yine de adaletsiz olabilir; çünkü çarpık bir veri kümesine çarpıklığıyla birlikte kusursuz biçimde uyabilir.