Toplu Normalleştirme

Genellikle BatchNorm olarak kısaltılan Toplu Normalleştirme, derin sinir ağlarında eğitim sürecini stabilize etmek ve hızlandırmak için kullanılan bir tekniktir. Sergey Ioffe ve Christian Szegedy tarafından 2015 tarihli makalelerinde tanıtılan bu yöntem, her bir veri mini-kümesi için her katmana gelen girdileri normalleştirerek çalışır. Bu, "dahili kovaryet kayması" olarak bilinen, önceki katmanların parametreleri değiştikçe her katmanın girdilerinin dağılımının eğitim sırasında değiştiği bir olguyu azaltma etkisine sahiptir. Toplu Normalleştirme, girdilerin daha kararlı bir dağılımını koruyarak derin ağların daha hızlı ve daha istikrarlı bir şekilde eğitilmesini sağlar.

Batch Normalizasyon Nasıl Çalışır

Model eğitimi sürecinde, veriler ağ üzerinden kümeler (batch) adı verilen küçük gruplar halinde geçirilir. Tipik olarak bir evrişimsel (convolutional) veya tam bağlantılı katmandan sonra ve aktivasyon fonksiyonundan önce eklenen bir Küme Normalleştirme (Batch Normalization) katmanı, her küme için iki ana adım gerçekleştirir:

1. Normalleştirme: Mevcut toplu iş içindeki aktivasyonların ortalamasını ve varyansını hesaplar. Daha sonra bu istatistikleri kullanarak aktivasyonları normalleştirir ve onlara sıfır ortalama ve bir varyans verir. Bu adım, bir sonraki katmana giren girdilerin tutarlı bir ölçekte olmasını sağlar.
2. Ölçekleme ve Kaydırma: Aktivasyonları normalleştirmek, katmanın ifade gücünü sınırlayabilir. Bunu önlemek için katman, iki öğrenilebilir parametre sunar: bir ölçekleme faktörü (gama) ve bir kaydırma faktörü (beta). Bu parametreler, ağın sonraki katmanlara girdiler için en uygun ölçeği ve ortalamayı öğrenmesini sağlayarak, ağın en iyi olduğunu belirlediği şey buysa normalleştirmeyi etkili bir şekilde geri alır.

Çıkarım (inference) sırasında, model, kümeler yerine tekil örnekleri işler. Bu nedenle, kümeye özgü ortalama ve varyans mevcut değildir. Bunun yerine, model, eğitim aşamasında hesaplanan ve depolanan, tüm eğitim veri kümesinden hesaplanan toplu bir ortalama ve varyans kullanır. Bu, modelin çıktısının deterministik ve tutarlı olmasını sağlar.

Batch Normalization'ın Faydaları

Bir derin öğrenme modelinde Batch Normalization uygulamak çeşitli önemli avantajlar sunar:

• Daha Hızlı Eğitim: Giriş dağılımlarını stabilize ederek, BatchNorm çok daha yüksek bir öğrenme oranı kullanımına izin verir, bu da modelin yakınsamasını önemli ölçüde hızlandırır.
• İç Kovaryans Kaymasını Azaltır: Bu, Batch Normalization'ın çözmek için tasarlandığı temel sorundur. Daha önceki katmanların parametrelerindeki değişikliklerin, sonraki katmanlara gelen girdilerin dağılımında kaymaya neden olduğu sorunu hafifleterek eğitimi zorlaştırır.
• Düzenlileştirme Etkisi: Batch Normalization, toplu iş tabanlı istatistikler nedeniyle her katmanın aktivasyonlarına az miktarda gürültü ekler. Bu gürültü, bir düzenlileştirme biçimi olarak işlev görür; bu da aşırı uyumu önlemeye yardımcı olabilir ve Dropout gibi diğer tekniklere olan ihtiyacı azaltabilir.
• Başlangıca Bağımlılığı Azaltır: Ağırlıkların ilk değerlerine karşı ağın hassasiyetini azaltarak eğitim sürecini daha sağlam hale getirir.

Gerçek Dünya Uygulamaları

Toplu Normalleştirme (Batch Normalization), Ultralytics YOLO gibi son teknoloji mimariler de dahil olmak üzere modern bilgisayarlı görü modellerinde neredeyse her yerde bulunan bir bileşendir.

• Görüntü Sınıflandırması: ImageNet gibi büyük veri kümeleri üzerinde eğitilmiş modellerde, Batch Normalization, kaybolan gradyanlar gibi sorunları önleyerek ResNet gibi çok derin ağların eğitimi için çok önemlidir. Bu, fotoğraflardaki nesneleri sınıflandırma gibi görevlerde daha yüksek doğruluk sağlar.
• Tıbbi Görüntü Analizi: Tümör tespiti için modeller eğitilirken veya MR veya BT taramalarından organlar segmentlere ayrılırken, Batch Normalization, farklı makineler ve hastalardaki görüntü yoğunluğundaki değişikliklerin eğitimi olumsuz etkilememesini sağlar. Bu, sağlık hizmetlerinde yapay zeka için daha güvenilir ve sağlam teşhis araçlarına yol açar.

İlgili Kavramlar ve Ayrımlar

Yığın Normalleştirmeyi (Batch Normalization) diğer ilgili kavramlardan ayırmak önemlidir:

• Veri Normalizasyonu: Genel veri normalizasyonu, eğitim başlamadan önce girdi verilerine uygulanan bir ön işleme adımıdır. Buna karşılık, Batch Normalizasyonu, katmanlar arasındaki aktivasyonları normalleştiren, eğitim sırasında ağ içinde meydana gelen dinamik bir süreçtir.
• Diğer Normalleştirme Katmanları: Katman Normalleştirme, Örnek Normalleştirme ve Grup Normalleştirme gibi diğer teknikler de mevcuttur. Temel fark, normalleştirmenin kapsamıdır. BatchNorm, yığın boyutu boyunca normalleştirme yaparken, Katman Normalleştirme, tek bir eğitim örneği için özellikler arasında normalleştirme yaparak yığın boyutundan bağımsız hale getirir. Bu alternatifler genellikle NLP gibi alanlarda veya küçük yığın boyutlarının gerekli olduğu durumlarda kullanılır.

Değerlendirmeler ve Uygulamalar

Toplu Normalleştirme için önemli bir husus, eğitim sırasında mini toplu iş boyutuna bağımlılığıdır. Toplu iş istatistikleri, popülasyon istatistiklerinin gürültülü tahminleri haline geldiğinden, toplu iş boyutu çok küçükse (örneğin, 1 veya 2) performans düşebilir. Standart derin öğrenme çerçeveleri gibi PyTorch (torch.nn.BatchNorm2d) ve TensorFlow (tf.keras.layers.BatchNormalization) sağlam uygulamalar sunar. Alternatiflere rağmen, Batch Normalization birçok modern derin öğrenme modelini etkili bir şekilde eğitmek için temel bir teknik olmaya devam etmektedir. gibi platformları kullanarak bu tür teknikleri içeren modelleri yönetebilir ve eğitebilirsiniz Ultralytics HUB.