Düzenli hale getirme

Düzenli hale getirme, makine öğreniminde (ML) aşırı uyum olarak bilinen yaygın bir sorunu önlemek için kullanılan bir dizi tekniktir. Bir model aşırı uyum sağladığında, gürültü ve rastgele dalgalanmalar da dahil olmak üzere eğitim verilerini çok iyi öğrenir ve bu da yeni, görünmeyen veriler üzerinde genelleme ve doğru tahminler yapma yeteneğini olumsuz yönde etkiler. Düzenli hale getirme, kayıp fonksiyonuna model karmaşıklığı için bir ceza ekleyerek çalışır ve modelin aşırı karmaşık kalıpları öğrenmesini engeller. Bu, hem eğitim hem de doğrulama verilerinde daha iyi performans gösteren daha basit, daha genelleştirilebilir bir model oluşturulmasına yardımcı olur.

Yaygın Düzenlileştirme Teknikleri

Model performansını ve sağlamlığını artırmaya yardımcı olan ve yaygın olarak kullanılan birkaç düzenlileştirme tekniği vardır:

• L1 ve L2 Düzenlemesi: Bunlar en yaygın düzenli hale getirme biçimleridir. Modelin ağırlıklarının boyutuna bağlı olarak kayıp fonksiyonuna bir ceza eklerler. L1 düzenlemesi (Lasso), daha az önemli özellik ağırlıklarını tam olarak sıfıra küçültme eğilimindedir ve özellik seçimini etkili bir şekilde gerçekleştirir. L2 düzenlemesi (Ridge veya Weight Decay) ağırlıkları küçük ama nadiren sıfır olmaya zorlar. Matematiksel farklılıkların daha derinlemesine incelenmesi Stanford CS229 ders notları gibi kaynaklarda bulunabilir.
• Bırakma Katmanı: Bu teknik sinir ağlarına özgüdür. Eğitim sırasında, her güncelleme adımında nöron aktivasyonlarının bir kısmını rastgele sıfıra ayarlar. Bu, nöronların çok fazla birlikte uyum sağlamasını önler ve ağı daha sağlam özellikler öğrenmeye zorlar. Bu kavram oldukça etkili bir araştırma makalesinde tanıtılmıştır.
• Veri Büyütme: Eğitim verilerinin boyutunu ve çeşitliliğini yapay olarak genişleterek, veri artırımı modelin küçük değişikliklere karşı daha değişmez hale gelmesine yardımcı olur. Yaygın teknikler arasında görüntülerde döndürme, kırpma, ölçekleme ve renk değiştirme yer alır. Ultralytics, model sağlamlığını artırmak için yerleşik YOLO veri artırma yöntemleri sunar.
• Erken Durdurma: Bu, eğitim sırasında modelin bir doğrulama kümesi üzerindeki performansının izlendiği pratik bir yöntemdir. Doğrulama performansı iyileşmeyi durdurduğunda eğitim süreci durdurulur ve modelin daha sonraki epoklarda aşırı uyum sağlamaya başlaması önlenir. PyTorch belgelerinde erken durdurmanın uygulanmasına ilişkin pratik bir kılavuz mevcuttur.

Gerçek Dünya Uygulamaları

Düzenli hale getirme, çeşitli alanlarda etkili derin öğrenme (DL) modelleri geliştirmek için temeldir.

1. Bilgisayarla Görme: Ultralytics YOLO gibi nesne algılama modellerinde, COCO gibi veri kümelerinden gerçek dünya uygulamalarına genelleme yapmak için düzenlileştirme çok önemlidir. Örneğin, otomotiv çözümleri için yapay zekada L2 düzenlemesi ve dropout, bir trafik işareti dedektörünün çeşitli aydınlatma ve hava koşullarında güvenilir bir şekilde çalışmasına yardımcı olarak eğitim sırasında görülen belirli örnekleri ezberlemesini önler.
2. Doğal Dil İşleme (NLP): Büyük Dil Modelleri (LLM'ler) çok sayıda parametreye sahip olmaları nedeniyle aşırı uyum sağlamaya eğilimlidir. Makine çevirisi gibi uygulamalarda, modelin sadece eğitim verilerinden belirli cümle çiftlerini ezberlemek yerine gramer kurallarını ve anlamsal ilişkileri öğrenmesini sağlamak için Transformer mimarilerinde dropout kullanılır.

Düzenlileştirme ve Diğer Kavramlar

Düzenli hale getirmeyi makine öğrenimindeki diğer ilgili kavramlardan ayırmak önemlidir:

• Düzenli hale getirme ve Normalleştirme: Normalleştirme, girdi özelliklerini standart bir aralığa (ör. 0 ila 1) ölçeklendiren bir veri ön işleme tekniğidir. Ölçeği nedeniyle öğrenme sürecinde tek bir özelliğin baskın olmamasını sağlar. Buna karşılık normalizasyon, aşırı uyumu önlemek için eğitim sırasında modelin karmaşıklığını kısıtlayan bir tekniktir. Her ikisi de model performansını artırsa da normalleştirme veriye odaklanırken, düzenlileştirme modelin kendisine odaklanır. Toplu Normalleştirme, hafif bir düzenleyici etki de sağlayan katman bazlı bir normalleştirme tekniğidir.
• Düzenlileştirme ve Hiperparametre Ayarı: Düzenli hale getirme tekniklerinin, L1/L2'deki düzenli hale getirme gücü (lambda) veya bırakma oranı gibi kendi hiper parametreleri vardır. Hiperparametre ayarlama, genellikle Ultralytics Tuner sınıfı gibi araçlarla otomatikleştirilen bu ayarlar için en uygun değerleri bulma işlemidir. Kısacası, düzenlileştirmeyi uygulamanın en iyi yolunu bulmak için hiperparametre ayarını kullanırsınız. Ultralytics HUB gibi platformlar, bu işlem için gereken deneylerin yönetilmesine yardımcı olabilir.