Stochastic Gradient Descent (SGD)

Stokastik Gradyan İnişi (SGD), özellikle büyük veri kümeleriyle çalışırken modelleri verimli bir şekilde eğitmek için makine öğreniminde yaygın olarak kullanılan güçlü bir optimizasyon algoritmasıdır. SGD'nin temelinde, model parametrelerini daha sık güncelleyerek öğrenme sürecini hızlandırmak üzere tasarlanmış standart gradyan inişi yönteminin bir varyasyonu olması yatar. Geleneksel toplu gradyan inişinde olduğu gibi tek bir güncelleme yapmadan önce tüm veri kümesinin hatasını hesaplamak yerine SGD, modelin ağırlıklarını her seferinde yalnızca rastgele seçilmiş tek bir eğitim örneğini kullanarak günceller. Bu "stokastik" veya rastgele yapı, optimizasyon yoluna gürültü ekler; bu da modelin optimum olmayan çözümlerden kurtulmasına ve tüm verilerin aynı anda işlenmesinin hesaplama açısından olanaksız olduğu devasa veri kümelerinde daha hızlı yakınsamasına yardımcı olabilir.

Stokastik Gradyan İnişi Nasıl Çalışır#

Her eğitim sürecinin temel amacı, modelin tahminleri ile gerçek hedef değerler arasındaki farkı ölçen bir kayıp fonksiyonunu en aza indirmektir. SGD bunu yinelemeli bir döngü aracılığıyla gerçekleştirir. İlk olarak algoritma, eğitim verilerinden rastgele bir veri noktası seçer. Ardından bir tahmin oluşturmak için ileri geçiş gerçekleştirir ve hatayı hesaplar. Algoritma, geri yayılım kullanarak gradyanı, yani hata yüzeyinin eğimini, bu tek örneğe dayanarak hesaplar. Son olarak hatayı azaltmak için model ağırlıklarını gradyanın ters yönünde günceller.

Bu işlem, modelin performansı kararlı hâle gelene kadar genellikle epoch'lar şeklinde gruplandırılan birçok yineleme boyunca tekrarlanır. Bu güncellemelerin büyüklüğü, öğrenme oranı olarak bilinen bir hiperparametre tarafından kontrol edilir. Her adım yalnızca tek bir örneğe dayandığından, minimuma giden yol, batch gradient descent'in düzgün yörüngesine kıyasla genellikle zikzaklı veya gürültülüdür. Ancak bu gürültü, deep learning'de çoğu zaman avantajlıdır; çünkü modelin yerel bir minimumda takılıp kalmasını önleyerek daha iyi bir global çözüme ulaşılmasını sağlayabilir.

SGD ve Diğer Optimizasyon Algoritmaları#

SGD ile ilişkili optimizasyon algoritmaları arasındaki farkları anlamak, doğru eğitim stratejisini seçmek için kritik öneme sahiptir.

• Toplu Gradyan İnişi: Bu geleneksel yöntem, her güncellemede gradyanı tüm veri kümesini kullanarak hesaplar. Minimuma istikrarlı ve doğrudan bir yol sunsa da büyük ölçekli makine öğrenimi (ML) görevlerinde son derece yavaş ve bellek açısından yoğundur.
• Mini Toplu Gradyan İnişi: Uygulamada PyTorch dâhil çoğu modern derin öğrenme çerçevesi, genellikle SGD olarak adlandırılan ancak teknik olarak kesin biçimde "Mini-Batch SGD" olan hibrit bir yaklaşım uygular. Bu yöntem, parametreleri yalnızca tek bir örnek yerine küçük bir örnek grubunu (bir toplu işlem) kullanarak günceller. Saf SGD'nin hesaplama verimliliği ile toplu gradyan inişinin istikrarını dengeler ve bu sayede YOLO26 gibi modellerin eğitilmesinde standart hâline gelir.
• Adam Optimizasyon Algoritması: Adam, SGD üzerine kurulu uyarlamalı öğrenme hızı optimizasyon algoritmasıdır. Moment tahminlerine dayanarak her parametrenin öğrenme hızını ayrı ayrı ayarlar. Adam çoğu zaman daha hızlı yakınsasa da belirli senaryolarda daha genellenebilir çözümler bulma yeteneği nedeniyle momentumlu SGD, bilgisayarlı görüde (CV) hâlâ sıkça kullanılır.

Gerçek Dünya Uygulamaları#

SGD ve varyantları, günümüzde kullanılan birçok dönüştürücü AI teknolojisinin arkasındaki motorlardır.

1. Otonom Araçlar: Otonom araçların geliştirilmesinde modellerin yayaları, trafik işaretlerini ve engelleri tanımlamak için çok büyük görsel veri akışlarını işlemesi gerekir. Bu gelişmiş nesne algılama ağlarının eğitilmesi, milyonlarca yol görüntüsünü işlemek için verimli optimizasyon gerektirir. SGD, mühendislerin modelin doğruluğunu yinelemeli olarak geliştirmesine olanak tanıyarak otomotivde AI kullanılan güvenlik açısından kritik sistemlerin gerçek zamanlı olarak güvenilir kararlar vermesini sağlar.

2. Tıbbi Tanı: Tıbbi görüntü analizi alanı, MRI taramalarında veya X-ışınlarında tümörler gibi anormallikleri tespit etmek için büyük ölçüde derin öğrenmeye dayanır. Tıbbi veri kümeleri çok büyük ve yüksek çözünürlüklü olabildiğinden SGD, bellek kaynaklarını aşırı yüklemeden karmaşık evrişimli sinir ağlarının (CNN'ler) eğitilmesini sağlar. Bu da doktorlara sağlık hizmetlerinde AI konusunda yardımcı olan yüksek hassasiyetli tanı araçlarının oluşturulmasını kolaylaştırır.

Python Kod Örneği#

ultralytics gibi üst düzey kütüphaneler, train() komutu sırasında optimizasyonu dahili olarak gerçekleştirirken bir SGD optimizasyon algoritmasının daha alt düzey bir PyTorch iş akışı içinde nasıl başlatılıp kullanıldığını görebilirsin. Bu kod parçacığı, bir tensör için basit bir SGD optimizasyon algoritmasının tanımlanmasını gösterir.

import torch
import torch.nn as nn
import torch.optim as optim

# Define a simple linear model
model = nn.Linear(10, 1)

# Initialize Stochastic Gradient Descent (SGD) optimizer
# 'lr' is the learning rate, and 'momentum' helps accelerate gradients in the right direction
optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.9)

# Create a dummy input and target
data = torch.randn(1, 10)
target = torch.randn(1, 1)

# Forward pass
output = model(data)
loss = nn.MSELoss()(output, target)

# Backward pass and optimization step
optimizer.zero_grad()  # Clear previous gradients
loss.backward()  # Calculate gradients
optimizer.step()  # Update model parameters
print("Model parameters updated using SGD.")

Zorluklar ve Çözümler#

Yaygın olmasına rağmen SGD bazı zorlukları beraberinde getirir. Temel sorun, gradyan adımlarındaki gürültüdür; bu gürültü, kaybın düzgün biçimde yakınsamak yerine büyük ölçüde dalgalanmasına neden olabilir. Bunu azaltmak için uygulayıcılar genellikle momentum adı verilen ve ağır bir topun yokuş aşağı yuvarlanmasına benzer şekilde SGD'yi ilgili yönde hızlandırmaya ve salınımları sönümlemeye yardımcı olan bir teknik kullanır. Ayrıca doğru öğrenme hızını bulmak kritik öneme sahiptir; öğrenme hızı çok yüksekse model minimumu aşabilir (gradyan patlaması), çok düşükse eğitim son derece yavaş ilerler. Ultralytics Platformu gibi araçlar, hiperparametre ayarlamasını yöneterek ve eğitim metrikleri için görselleştirme sağlayarak bu sürecin otomatikleştirilmesine yardımcı olur. Adam optimizasyon algoritması gibi gelişmeler, öğrenme hızı ayarlamasını esasen otomatikleştirerek SGD'nin doğasında bulunan bazı zorlukları giderir.