Öğrenme Oranı

Öğrenme oranı yapılandırılabilir bir hiperparametredir sinirağlarının eğitiminde kullanılan model ağırlıklarıher seferinde tahmin edilen hataya karşılık olarak modelin ne kadar değiştirileceğini kontrol eder güncellenir. Esasen, minimumkayıp fonksiyonuna doğru ilerlerken her iterasyonda adım boyutunu belirler. Eğitim sürecini bir vadiye (optimum durum) ulaşmak için sisli bir dağdan aşağı yürümek olarak hayal ederseniz Öğrenme hızı, attığınız her adımın uzunluğunu belirler. Ayarlanması gereken en kritik ayarlardan biridir, çünkü yakınsama hızını ve modelin başarılı bir şekilde optimal bir çözüm bulup bulamayacağını doğrudan etkiler.

Öğrenme Oranının Eğitim Üzerindeki Etkisi

Doğru öğrenme oranını seçmek genellikle dengeleyici bir eylemdir. Seçilen değer, eğitimi önemli ölçüde etkiler dinamikleri:

• Çok Yüksek: Öğrenme oranı çok yüksek ayarlanırsa, model çok büyük adımlar atabilir, sürekli olarak optimum ağırlıkları aşar. Bu durum, kaybın salınım gösterdiği kararsız eğitime yol açabilir ve hatta ıraksar (artar) ve modelin yakınsamasını engeller.
• Çok Düşük: Tersine, çok düşük bir öğrenme oranı son derece küçük güncellemelerle sonuçlanacaktır. Bir yandan Bu, modelin minimum değeri kaçırmamasını sağlar, eğitimsürecini acı verici derecede yavaş. Dahası, yerel minimumlarda takılıp kalma riskini artırır - kayıpta optimal olmayan vadiler peyzaj lideri tounderfitting.

Modern eğitim iş akışlarının çoğu, eğitim sırasında hızı dinamik olarak ayarlayan öğrenme hızıprogramlayıcılarını kullanır. Yaygın bir strateji, "ısınma" dönemlerini içerir. oranı düşük başlar ve artar, ardından "çürüme" aşamaları gelir ve bu aşamalarda yavaş yavaş küçülerek Model yakınsamaya yaklaştıkça ince taneli ağırlık ayarlamaları.

Ultralytics'te Öğrenme Oranını Ayarlama

Ultralytics çerçevesinde, ilk öğrenme oranını kolayca yapılandırabilirsiniz (lr0) ve final öğrenme oranı (lrf) bir modeli eğitirken argüman olarak kullanabilirsiniz. Bu esneklik aşağıdakileri denemenize olanak tanır özel veri kümenize uyması için farklı değerler.

from ultralytics import YOLO

# Load the recommended YOLO11 model
model = YOLO("yolo11n.pt")

# Train on COCO8 with a custom initial learning rate
# 'lr0' sets the initial learning rate (default is usually 0.01)
results = model.train(data="coco8.yaml", epochs=100, lr0=0.01)

Gerçek Dünya Uygulamaları

Öğrenme oranı seçimi, sektörler genelinde sağlam yapay zeka çözümlerinin uygulanmasında çok önemlidir:

1. Tıbbi Görüntü Analizi:Sağlık gibi yüksekriskli alanlarda, modeller MRI taramalarındaki tümörler gibi anomalileri detect etmek için eğitilir. Burada, dikkatlice ayarlanmış bir öğrenme oranı aşağıdakiler için gereklidir modelin gürültüye aşırı uyum sağlamadan karmaşık kalıpları öğrenmesini sağlar. Örneğin, bir kişiyi eğitirkenYOLO11 tümörtespiti için model, araştırmacılar genellikle doğruluğuen üst düzeye çıkarmak için bir zamanlayıcı ile daha düşük bir öğrenme oranı kullanırlar ve güvenilirliği, çeşitli radyolojiaraştırmalarında belgelenmiştir.
2. Otonom Araçlar:İçin sürücüsüz araçlarda nesne algılama, modeller farklı ortamlardaki yayaları, işaretleri ve diğer araçları tanımalıdır. WaymoAçık Veri Setigibi devasa veri kümeleri üzerinde eğitim verilerdeki büyük değişkenlikle başa çıkmak için optimize edilmiş bir öğrenme oranı gerektirir. Uyarlanabilir bir öğrenme oranı model ilk aşamalarda daha hızlı yakınsar ve sınırlayıcıkutusunuiyileştirir Daha sonraki aşamalarda tahminler,otomotivdedaha güvenliAI'ye katkıda bulunur sistemler.

Öğrenme Oranı ve İlgili Kavramlar

Bir modeli etkili bir şekilde ayarlamak için öğrenme oranını ilgili terimlerden ayırmak faydalı olacaktır:

• Parti Büyüklüğü: Öğrenme oranı ise adımın boyutunu kontrol ederken, parti boyutu kaç veri örneğinin kullanılacağını belirler. o adım için gradyanı hesaplar. Bu ikisi arasında genellikle bir ilişki vardır; daha büyük parti boyutları daha fazla kararlı gradyanlar, daha yüksek öğrenme oranlarına izin verir. Bu ilişki DoğrusalÖlçekleme Kuralı'nda incelenmiştir.
• Optimizasyon Algoritması:Optimizeedici (örn, SGD veyaAdam) ağırlıkları güncellemek için kullanılan özel yöntemdir. Öğrenme oranı, ağırlık güncelleme yöntemi tarafından kullanılan bir parametredir. optimize edici. Örneğin, Adam her parametre için öğrenme oranını ayrı ayrı uyarlarken, standart SGD şunları uygular herkese sabit bir oran.
• Epok:Bir epok, bir tam geçişi tanımlar tüm eğitimveri kümesi aracılığıyla. Öğrenme oranı, modelin bir epok içindeki her adımda ne kadar öğrendiğini belirler, ancak epok sayısı eğitim sürecinin ne kadar süreceğini belirler.

Optimizasyon dinamikleri hakkında daha derin bilgiler içinStanfordCS231n notlarıgibi kaynaklar öğrenme oranlarının kayıp manzaralarını nasıl etkilediğine dair mükemmel görsel açıklamalar sağlar.