Learning Rate

Öğrenme hızı, bir modelin optimizasyon süreci sırasında attığı adımın büyüklüğünü belirleyen kritik bir hiperparametre ayarlama yapılandırmasıdır. Bir sinir ağını eğitme bağlamında, modelin her veri grubunu işlediğinde tahmin edilen hataya yanıt olarak dahili ağırlıklarının ne kadar güncelleneceğini kontrol eder. Bunu, bir dağdan aşağıya, vadiye (en düşük hata noktası) doğru yürüyen bir kişi gibi düşün; öğrenme hızı, attıkları adımın uzunluğunu belirler. Adım çok büyükse, vadinin üzerinden tamamen atlayıp tabanı kaçırabilirler. Adım çok küçükse, hedefe ulaşmak pratik olmayan derecede uzun sürebilir.

Link to this sectionOptimizasyonda "Altın Oran" İkilemi#

Finding the optimal learning rate is often described as a balancing act within machine learning workflows. The goal is to minimize the loss function, which measures the difference between the model's predictions and the actual ground truth. This process relies heavily on an optimization algorithm such as stochastic gradient descent (SGD) or the Adam optimizer to navigate the loss landscape.

• Çok Yüksek Öğrenme Hızı: Eğer değer çok yüksek ayarlanırsa, modelin ağırlık güncellemeleri sert olacaktır. Bu, modelin bir çözüme yakınsamayı başaramayıp bunun yerine çılgınca salındığı veya ıraksadığı "aşırı tepki" fenomenine yol açabilir. Bu dengesizlik bazen patlayan gradyan problemini tetikleyerek eğitim sürecini kullanılamaz hale getirebilir.
• Çok Düşük Öğrenme Hızı: Buna karşılık, son derece küçük bir adım boyutu, modelin minimuma doğru dikkatle hareket etmesini sağlar, ancak eğitim süreci son derece yavaş hale geldiği için underfitting ile sonuçlanabilir. Model etkili bir şekilde yerel bir minimumda takılıp kalabilir veya basit desenleri öğrenmek için binlerce ekstra epoch harcayarak hesaplama kaynaklarını boşa tüketebilir. Araştırmacılar, farklı algoritmaların bu değerlerle nasıl etkileşime girdiğini anlamak için genellikle PyTorch optimizasyon dokümantasyonuna başvururlar.

Link to this sectionGerçek Dünya Uygulamaları#

The impact of learning rate adjustments is evident across various high-stakes industries where computer vision tasks are deployed.

1. Autonomous Driving Systems: In the development of autonomous vehicles, engineers utilize vast datasets to train models for object detection to identify pedestrians and traffic signs. When applying transfer learning to a pre-trained model like YOLO26, developers typically use a much smaller learning rate than they would during initial training. This "fine-tuning" ensures that the model learns the nuances of specific driving environments (e.g., snowy roads vs. desert highways) without erasing the general feature extraction capabilities it already possesses.

2. Tıbbi Tanısal Görüntüleme: MRI taramalarındaki tümörleri tespit etmek gibi tıbbi görüntü analizinde, hassasiyet çok önemlidir. Burada yüksek bir öğrenme hızı, modelin malign dokuyu iyi huylu dokudan ayıran ince doku farklılıklarını atlaması riskini yaratır. Uygulayıcılar genellikle "öğrenme hızı ısınması" adı verilen bir teknik kullanır ve hız, eğitimde agresif öğrenme başlamadan önce sinir ağı ağırlıklarının kararlı bir konfigürasyona yerleşmesini sağlamak amacıyla, eğitim aşamalarının başında hızı sıfırdan hedef değere kademeli olarak artırır. Bu stratejiler hakkında daha fazla bilgiyi Google Makine Öğrenimi Hızlandırılmış Kursu üzerinde okuyabilirsin.

Link to this sectionİlgili Terimleri Ayırt Etme#

Öğrenme hızını diğer eğitim parametrelerinden ayırmak önemlidir, çünkü bunlar genellikle aynı yapılandırma dosyalarında ayarlanırlar ancak farklı amaçlara hizmet ederler:

• Öğrenme Hızı vs. Batch Size: Öğrenme hızı güncellemenin büyüklüğünü kontrol ederken, batch size bir güncelleme gerçekleşmeden önce işlenen eğitim örneklerinin sayısını belirler. İkisi arasında güçlü bir ilişki vardır; genellikle batch size artırıldığında, eğitim verimliliğini korumak için öğrenme hızını da ölçeklendirmek gerekir, bu büyük batch eğitimi hakkındaki makalelerde keşfedilen bir kavramdır.
• Öğrenme Hızı vs. Decay: Decay, öğrenme hızının zamanla sistematik olarak azaltıldığı bir stratejiyi ifade eder. Bir zamanlayıcı (scheduler), her 30 epoch'ta bir hızı 10 kat düşürebilir. Bu, modelin erken aşamalarda büyük kavramsal sıçramalar yapmasına ve ardından eğitimin sonuna doğru daha küçük adımlarla doğruluğunu geliştirmesine yardımcı olur. Bu, Ultralytics Python paketi içinde standart bir özelliktir.

Link to this sectionUltralytics YOLO'da Öğrenme Hızını Ayarlama#

Modern çerçeveleri kullanırken, başlangıç öğrenme hızını (lr0) ve nihai öğrenme hızı oranını (lrf) kolayca ayarlayabilirsin. Aşağıda, özel bir eğitim çalışması için Ultralytics Platform uyumlu istemciyi kullanarak bunun nasıl yapılandırılacağına dair bir örnek verilmiştir.

from ultralytics import YOLO

# Load the YOLO26 model (latest state-of-the-art architecture)
model = YOLO("yolo26n.pt")

# Train the model with a custom initial learning rate
# lr0=0.01 sets the initial rate
# lrf=0.01 sets the final learning rate to (lr0 * lrf)
results = model.train(data="coco8.yaml", epochs=10, lr0=0.01, lrf=0.01)

İleri düzey kullanıcılar için, (fast.ai tarafından popülerleştirilen) LR Finder gibi teknikler, hızın kayıp ıraksayana kadar üstel olarak artırıldığı kısa bir deneme epoch'u çalıştırarak en iyi başlangıç değerinin keşfini esasen otomatikleştirebilir. Bu hiperparametrede ustalaşmak, genellikle yapay zeka projelerinde SOTA (State-of-the-Art) performansının kilidini açmanın anahtarıdır.