Overfitting

Aşırı öğrenme, makine öğreniminde bir modelin eğitim verilerini çok iyi öğrenerek, temel veri dağılımı yerine gürültüyü ve rastgele dalgalanmaları yakalaması durumudur. Aşırı öğrenen bir model, yeni ve görülmemiş verilere uygulanan genel kalıpları öğrenmek yerine, eğitim setindeki belirli örnekleri etkili bir şekilde ezberler. Bu durum, eğitim verilerinde mükemmel bir performans sağlar ancak gerçek dünya senaryolarında düşük bir genelleme yeteneği ile sonuçlanır. Genellikle "yüksek varyans" olarak tanımlanır; yani modelin tahminleri, eğitim için kullanılan belirli veri setine bağlı olarak önemli ölçüde değişir.

Aşırı Öğrenme Neden Olur#

Aşırı öğrenmenin (overfitting) temel nedeni, mevcut veri miktarına göre modelin aşırı karmaşık olmasıdır. Eğer bir neural network çok büyükse—yani çok fazla katmana veya parametreye sahipse—eğitim örneklerini kolayca ezberleyebilir. Diğer katkıda bulunan faktörler şunlardır:

• Yetersiz Eğitim Verisi: Küçük veri setleri, daha geniş popülasyonda bulunmayan yanıltıcı korelasyonlar içerebilir. Sınırlı verilerle eğitilen modeller, bu tesadüfi kalıpları öğrenmeye eğilimlidir.
• Veri Gürültüsü ve Aykırı Değerler: training data içindeki yüksek düzeyde gürültü veya temsil etmeyen aykırı değerler modeli yanıltabilir ve gerçek sinyal yerine anormalliklere uyum sağlamak için dahili parametrelerini ayarlamasına neden olabilir.
• Uzatılmış Eğitim Süresi: Çok fazla epochs boyunca eğitim yapmak, modelin eğitim setindeki gürültüye uyum sağlayana kadar ağırlıklarını iyileştirmeye devam etmesine olanak tanır. Bu durum genellikle validation data kullanılarak izlenir.

Aşırı Öğrenme vs. Yetersiz Öğrenme#

Aşırı öğrenmeyi underfitting durumundan ayırmak önemlidir. Aşırı öğrenme çok fazla detayı (gürültü dahil) öğrenmeyi içerirken, eksik öğrenme (underfitting) bir modelin verinin alttaki yapısını hiç yakalayamayacak kadar basit olması durumunda gerçekleşir. Eksik öğrenmiş bir model hem eğitim verisinde hem de yeni verilerde zayıf performans gösterir ve genellikle yüksek yanlılığa neden olur. Bu iki uç noktayı dengelemek bias-variance tradeoff olarak bilinir.

Aşırı Öğrenmeyi Önleme#

Mühendisler, aşırı öğrenmeyi azaltmak ve model sağlamlığını artırmak için çeşitli teknikler kullanırlar:

• Düzenlileştirme (Regularization): L1/L2 düzenlileştirmesi veya dropout layers eklenmesi gibi teknikler eğitim sırasında cezalar veya rastgelelik sunarak modelin belirli özelliklere aşırı derecede bağımlı hale gelmesini engeller.
• Erken Durdurma (Early Stopping): Bir doğrulama seti üzerindeki loss function takibi, eğitim doğruluğu artmaya devam etse bile, görünmeyen veriler üzerindeki performans iyileşmeyi durdurduğu anda eğitimin durdurulmasına olanak tanır.
• Veri Artırma (Data Augmentation): data augmentation kullanarak eğitim setinin boyutunu ve çeşitliliğini yapay olarak artırmak, modelin tam görüntüleri ezberlemesini zorlaştırır.
• Çapraz Doğrulama (Cross-Validation): k-fold cross-validation gibi tekniklerin kullanılması, modelin verinin farklı alt kümelerinde test edilmesini sağlayarak performansının daha güvenilir bir tahminini sunar.

Gerçek Dünya Örnekleri#

Aşırı öğrenme, yapay zekayı üretim ortamlarında devreye alırken ciddi sonuçlara yol açabilir:

• Tıbbi Teşhis: AI in healthcare alanında, cilt kanserini tespit etmek için eğitilmiş bir model, eğitim görüntülerinde bulunan aydınlatma koşullarına veya cetvel işaretlerine aşırı uyum sağlayabilir (overfit olabilir). Farklı aydınlatmaya veya ekipmana sahip bir klinikte kullanıldığında model, alakasız arka plan ipuçlarına güvendiği için kötü huylu lezyonları doğru şekilde tanımlayamayabilir.
• Finansal Tahmin: Bir hisse senedi fiyat tahmin modeli, belirli ve tekrarlanamayan bir olaydan (bir kerelik ekonomik kriz gibi) kaynaklanan geçmiş piyasa eğilimlerine aşırı uyum sağlayabilir. Böyle bir model, temel piyasa dinamiklerini öğrenmek yerine geçmişteki anomalileri ezberlediği için gelecekteki hisse senedi hareketlerini muhtemelen doğru bir şekilde tahmin edemeyecektir.

Kod Örneği: Ultralytics YOLO26 ile Erken Durdurma#

Ultralytics Platform veya yerel eğitim betiklerini kullanarak erken durdurma sabrı (patience) ayarlamak suretiyle aşırı öğrenmeyi önleyebilirsin. Bu, doğrulama başarımı belirli sayıda epoch boyunca iyileşmezse eğitimi durdurur.

from ultralytics import YOLO

# Load the YOLO26 model (latest generation)
model = YOLO("yolo26n.pt")

# Train with early stopping enabled (patience=50 epochs)
# If validation metrics don't improve for 50 epochs, training stops.
results = model.train(data="coco8.yaml", epochs=100, patience=50)

İlgili Kavramlar#

• Genelleme: Bir modelin yeni ve daha önce görülmemiş verilere uyum sağlama ve iyi performans gösterme yeteneği; aşırı öğrenmenin tam tersidir.
• Çapraz Doğrulama: İstatistiksel bir analizin sonuçlarının bağımsız bir veri setine nasıl generalize olacağını değerlendirmeye yönelik bir teknik.
• Düzenlileştirme: Verilen eğitim setine bir fonksiyonu uygun şekilde uyarlayarak hataları azaltmak ve aşırı öğrenmeyi önlemek için kullanılan yöntemler.