Learning Rate

Öğrenme oranı, bir modelin optimizasyon sürecinde attığı adımın boyutunu belirleyen kritik bir hiperparametre ayarı yapılandırmasıdır. Bir sinir ağının eğitimi bağlamında, modelin her veri grubunu işlediğinde tahmin edilen hataya yanıt olarak dahili ağırlıklarının ne kadar güncelleneceğini kontrol eder. Bunu, bir kişinin bir vadinin en alt noktasına (hata değerinin en düşük olduğu noktaya) doğru dağdan aşağı yürümesi gibi düşünebilirsin; öğrenme oranı bu kişinin adım uzunluğunu belirler. Adım çok büyükse vadinin üzerinden tamamen geçip en alt noktayı kaçırabilir. Adım çok küçükse hedefe ulaşmak pratikte çok uzun sürebilir.

Optimizasyondaki "Goldilocks" İkilemi#

En uygun öğrenme oranını bulmak, makine öğrenimi iş akışlarında genellikle bir dengeleme işi olarak tanımlanır. Amaç, modelin tahminleri ile gerçek etiketler arasındaki farkı ölçen kayıp işlevini en aza indirmektir. Bu süreç, kayıp yüzeyinde yol almak için stokastik gradyan inişi (SGD) veya Adam iyileştiricisi gibi bir optimizasyon algoritmasına büyük ölçüde dayanır.

• Öğrenme Oranı Çok Yüksekse: Değer çok yüksek ayarlanırsa modelin ağırlık güncellemeleri büyük olur. Bu durum, modelin bir çözümde yakınsamayıp bunun yerine aşırı salınım yapması veya ıraksamasıyla sonuçlanan "hedefi aşma" olgusuna yol açabilir. Bu kararsızlık bazen bir patlayan gradyan sorununu tetikleyerek eğitim sürecini işe yaramaz hâle getirebilir.
• Öğrenme Oranı Çok Düşükse: Buna karşılık, son derece küçük bir adım boyutu modelin minimuma doğru dikkatli ilerlemesini sağlar, ancak eğitim süreci dayanılmaz derecede yavaşladığı için yetersiz öğrenmeye neden olabilir. Model, yerel bir minimumda fiilen takılıp kalabilir veya basit örüntüleri öğrenmek için binlerce ek epoch harcayabilir; bu da hesaplama kaynaklarını boşa tüketir. Araştırmacılar, farklı algoritmaların bu değerlerle nasıl etkileşime girdiğini anlamak için sık sık optimizasyon hakkındaki PyTorch belgelerine başvurur.

Gerçek Dünya Uygulamaları#

Öğrenme oranı ayarlamalarının etkisi, bilgisayarlı görü görevlerinin kullanıma sunulduğu çeşitli kritik sektörlerde açıkça görülür.

1. Otonom Sürüş Sistemleri: Otonom araçların geliştirilmesinde mühendisler, yayaları ve trafik işaretlerini belirlemek üzere modelleri nesne algılama için eğitmek amacıyla büyük veri kümelerinden yararlanır. YOLO26 gibi önceden eğitilmiş bir modele aktarım öğrenimi uygulanırken geliştiriciler genellikle ilk eğitim sırasında kullanacaklarından çok daha küçük bir öğrenme oranı kullanır. Bu "ince ayar", modelin zaten sahip olduğu genel özellik çıkarma yeteneklerini silmeden belirli sürüş ortamlarının inceliklerini (ör. karlı yollar ile çöl otoyolları arasındaki farkları) öğrenmesini sağlar.

2. Tıbbi Tanı Görüntüleme: MRG taramalarında tümörleri tespit etmek gibi tıbbi görüntü analizinde hassasiyet büyük önem taşır. Buradaki yüksek bir öğrenme oranı, modelin kötü huylu dokuyu iyi huylu dokudan ayıran ince doku farklılıklarını atlama riskini oluşturur. Uygulayıcılar, erken eğitim aşamalarını kararlı hâle getirmek için genellikle "öğrenme oranı ısındırma" adı verilen bir teknik kullanır; bu teknikte oran sıfırdan hedef değere kademeli olarak artırılır ve agresif öğrenme başlamadan önce sinir ağı ağırlıklarının kararlı bir yapılandırmaya yerleşmesi sağlanır. Bu stratejiler hakkında daha fazla bilgiyi Google Makine Öğrenimi Hızlandırılmış Kursu içinde okuyabilirsin.

İlgili Terimleri Birbirinden Ayırma#

Öğrenme oranını diğer eğitim parametrelerinden ayırmak önemlidir; çünkü bu parametreler genellikle aynı yapılandırma dosyalarında ayarlanır, ancak farklı amaçlara hizmet eder:

• Öğrenme Oranı ve Grup Boyutu: Öğrenme oranı güncellemenin büyüklüğünü kontrol ederken grup boyutu, bir güncelleme gerçekleşmeden önce işlenen eğitim örneklerinin sayısını belirler. İkisi arasında güçlü bir ilişki vardır; grup boyutu artırıldığında eğitim verimliliğini korumak için genellikle öğrenme oranı da orantılı olarak artırılmalıdır. Bu kavram, büyük gruplu eğitim hakkındaki makalelerde ele alınır.
• Öğrenme Oranı ve Azalma: Azalma, öğrenme oranının zaman içinde sistematik olarak düşürüldüğü bir stratejiyi ifade eder. Bir zamanlayıcı, oranı her 30 epoch'ta 10 kat azaltabilir. Bu, modelin başlangıçta büyük kavramsal sıçramalar yapmasına, ardından eğitimin sonuna doğru daha küçük adımlarla doğruluğunu iyileştirmesine yardımcı olur. Bu, Ultralytics Python paketinin standart bir özelliğidir.

Ultralytics YOLO'da Öğrenme Oranını Ayarlama#

Modern çerçeveleri kullanırken başlangıç öğrenme oranını (lr0) ve son öğrenme oranı kesrini (lrf) kolayca ayarlayabilirsin. Aşağıda, özel bir eğitim çalıştırması için bunu Ultralytics Platformu ile uyumlu istemciyi kullanarak yapılandırma örneği verilmiştir.

from ultralytics import YOLO

# Load the YOLO26 model (latest state-of-the-art architecture)
model = YOLO("yolo26n.pt")

# Train the model with a custom initial learning rate
# lr0=0.01 sets the initial rate
# lrf=0.01 sets the final learning rate to (lr0 * lrf)
results = model.train(data="coco8.yaml", epochs=10, lr0=0.01, lrf=0.01)

İleri düzey kullanıcılar için LR Finder (fast.ai tarafından yaygınlaştırılmıştır) gibi teknikler, kayıp ıraksayana kadar oranın üstel olarak artırıldığı kısa bir deneme epoch'u çalıştırarak en iyi başlangıç değerinin bulunmasını büyük ölçüde otomatikleştirebilir. Bu hiperparametreye hâkim olmak, AI projelerinde SOTA (son teknoloji) performansının önünü açan temel unsur olabilir.