Batch Normalization

Batch Normalization, genellikle BatchNorm olarak anılır, derin öğrenme (DL) içinde yapay sinir ağlarının eğitimini dengelemek ve hızlandırmak için kullanılan bir tekniktir. Önceki katmanların parametreleri güncellendikçe bir katmana gelen girdilerin dağılımının sürekli olarak değiştiği iç kovaryant kayması sorununu çözmek için tanıtılan BatchNorm, her bir mini-batch için bir katmanın girdilerini standartlaştırır. Katman girdilerini sıfır ortalamaya ve bir standart sapmaya sahip olacak şekilde normalleştirerek ve ardından bunları öğrenilebilir parametrelerle ölçeklendirip kaydırarak bu yöntem, ağların daha yüksek öğrenme oranları kullanmasını sağlar ve başlatmaya karşı duyarlılığı azaltır.

Batch Normalization Nasıl Çalışır#

Standart bir Evrişimli Sinir Ağında (CNN), veriler, her katmanın bir dönüşüm gerçekleştirdiği katmanlar boyunca akar. Normalizasyon olmadan, çıktı değerlerinin ölçeği büyük ölçüde değişebilir, bu da optimizasyon algoritmasının en iyi ağırlıkları bulmasını zorlaştırır. Batch Normalization tipik olarak aktivasyon fonksiyonundan (ReLU veya SiLU gibi) hemen önce uygulanır.

Süreç, eğitim sırasında iki ana adımdan oluşur:

1. Normalizasyon: Katman, mevcut batch boyutu içindeki aktivasyonların ortalamasını ve varyansını hesaplar. Ardından batch ortalamasını çıkarır ve batch standart sapmasına böler.

2. Ölçekleme ve Kaydırma: Ağın karmaşık fonksiyonları hala temsil edebildiğinden emin olmak için iki öğrenilebilir parametre (gamma ve beta) tanıtılır. Bunlar, optimal veri dağılımının standart bir normal dağılım olmaması durumunda ağın normalizasyonu geri almasını sağlar.

Bu mekanizma, eğitim sırasında aktivasyonlara küçük bir miktar gürültü ekleyerek Dropout katmanları gibi diğer tekniklere olan ihtiyacı biraz azaltan bir düzenlileştirme biçimi görevi görür.

Yapay Zeka Eğitimindeki Temel Faydalar#

Batch Normalization'ı ResNet veya modern nesne dedektörleri gibi mimarilere entegre etmek birkaç belirgin avantaj sağlar:

• Daha Hızlı Yakınsama: Normalizasyon, gradyanların çok küçük veya çok büyük hale gelmesini engellediği ve yok olan gradyan sorunuyla etkili bir şekilde mücadele ettiği için modeller çok daha hızlı eğitilir.
• Kararlılık: Ağı, başlangıç ağırlıklarının ve hiperparametre ayarının belirli seçimlerine karşı daha az hassas hale getirerek model eğitimi sürecini daha sağlam kılar.
• İyileştirilmiş Genelleme: Optimizasyon manzarasını pürüzsüzleştirerek BatchNorm, modelin görülmeyen test verilerine daha iyi genelleme yapmasına yardımcı olur.

Gerçek Dünya Uygulamaları#

Batch Normalization, neredeyse tüm modern bilgisayarlı görü (CV) sistemlerinde temel bir unsurdur.

1. Otonom Sürüş: Otonom araç sistemlerinde Ultralytics YOLO26 gibi modeller, yayaları, araçları ve tabelaları tespit etmek için video karelerini işler. BatchNorm, aydınlatma yoğunluğundaki veya hava koşullarındaki değişikliklerden bağımsız olarak nesne tespiti katmanlarının kararlı kalmasını sağlayarak yüksek ortalama ortalama kesinliği (mAP) korur.

2. Tıbbi Görüntüleme: Tıbbi görüntülemede tümör tespiti gerçekleştirirken, tarama verileri farklı MRI veya BT makineleri arasında büyük ölçüde değişiklik gösterebilir. BatchNorm, bu özellikleri dahili olarak normalleştirmeye yardımcı olarak yapay zekanın piksel yoğunluğu farklarından ziyade yapısal anomalilere odaklanmasını sağlar ve sağlık yapay zeka çözümlerinde teşhis doğruluğunu artırır.

Batch Normalization ve Veri Normalizasyonu Karşılaştırması#

Batch Normalization'ı standart veri normalizasyonundan ayırmak faydalıdır.

• Veri Normalizasyonu, eğitim başlamadan önce ham girdi veri setine uygulanan bir ön işleme adımıdır (örn. görüntüleri yeniden boyutlandırma ve piksel değerlerini 0-1 aralığında ölçeklendirme). Albumentations gibi araçlar genellikle bu aşama için kullanılır.
• Batch Normalization, eğitim sürecinin kendisi sırasında sinir ağı katmanlarının içinde gerçekleşir. Veriler ağdan geçerken ağın dahili değerlerini dinamik olarak ayarlar.

Uygulama Örneği#

PyTorch gibi derin öğrenme çerçeveleri, Batch Normalization'ın optimize edilmiş uygulamalarını içerir. Ultralytics YOLO mimarilerinde, bu katmanlar evrişim bloklarına otomatik olarak entegre edilir.

Aşağıdaki Python kod parçacığı, BatchNorm2d katmanlarının mimari içinde nerede yer aldığını görmek için bir modelin nasıl inceleneceğini gösterir.

from ultralytics import YOLO

# Load the YOLO26n model (nano version)
model = YOLO("yolo26n.pt")

# Print the model structure to view layers
# You will see 'BatchNorm2d' listed after 'Conv2d' layers
print(model.model)

Bu katmanların nasıl etkileşime girdiğini anlamak, geliştiriciler özel veri setlerinde modelleri ince ayar yapmak için Ultralytics Platform'u kullandığında yardımcı olur ve sınırlı verilerle bile eğitimin kararlı kalmasını sağlar.