Adam Optimizer

Adam (Adaptive Moment Estimation) sofistike ve yaygın olarak kullanılan bir güncellemek için tasarlanmış optimizasyon algoritması eğitim süreci sırasında bir sinir ağının parametrelerini belirler. Diğer iki popüler ürünün en iyi özelliklerini birleştirerek uzantıları Stokastik Gradyan İnişi (SGD)-özellikle Uyarlanabilir GradyanAlgoritması (AdaGrad) ve Kök Ortalama Kare Yayılımı (RMSProp)Adam uyarlanabilir her bir parametre için öğrenme oranları. Bu özelliği, gürültülü problemlerde seyrek gradyanları verimli bir şekilde ele almasına olanak tanıyarak onu eğitim için varsayılan bir seçim haline getirir karmaşık derin öğrenme (DL) mimarileri, En yeni YOLO11 modelleri de dahil.

Adam Nasıl Çalışır?

Adam arkasındaki temel mekanizma, gradyanların birinci ve ikinci momentlerini hesaplayarak içindeki her ağırlık için öğrenme oranı sinir ağı. Bunu "ilk" olarak düşünebilirsiniz. moment", optimizasyonun ağır bir topa benzer şekilde doğru yönde hareket etmesini sağlayan momentum olarak bir tepeden aşağı yuvarlanıyor. "İkinci moment" merkezlenmemiş varyansı izleyerek adım boyutunu etkili bir şekilde ölçeklendirir eğimlerin tarihsel büyüklüğüne dayanmaktadır.

Geriye yayılma sırasında algoritma şunları hesaplar 'ye göre kayıp fonksiyonunun gradyanıdır. ağırlıklar. Adam daha sonra gradyanın (momentum) ve karesel gradyanın (varyans) üstel hareketli ortalamalarını günceller. Bu hareketli ortalamalar mevcut gradyanı ölçeklendirmek için kullanılır ve modelin yönlerde daha büyük adımlar atmasını sağlar tutarlı gradyanlarla ve yüksek varyanslı yönlerde daha küçük adımlarla. Bu süreç orijinal belgede ayrıntılı olarak açıklanmıştır Kingma ve Ba tarafından hazırlananAdam araştırma makalesi.

Adam Diğer Optimize Edicilerden Ayırmak

Adam ın ne zaman kullanılacağını anlamak, onu diğer yaygın algoritmalarla karşılaştırmayı gerektirir makine öğrenimi (ML) çerçeveleri.

• Stokastik Gradyan İnişi (SGD): SGD , parametreleri sabit bir öğrenme oranı (veya basit bir bozunma programı) kullanarak günceller. SGD hesaplama açısından verimli ve genellikle iyi genelleme yapsa da, kayıp manzarasındaki "eyer noktaları" ile mücadele edebilir ve Adam'dan daha yavaş yakınsar. Birçok bilgisayarla görme görevleri final için SGD kullanır maksimum doğruluğu elde etmek için ince ayar.
• RMSProp: Bu optimize edici esas olarak AdaGrad'da görülen azalan öğrenme oranlarını ele almaktadır. Adam RMSProp 'u şu şekilde geliştirir salınımları azaltmaya yardımcı olan ve minimuma doğru yakınsamayı hızlandıran momentum teriminin eklenmesi.
• AdamW: Şöyle bilinen bir varyant Ayrıştırılmış ağırlık azalmasına sahipAdam AdamW) modern eğitim için sıklıkla tercih edilir Transformatörler ve büyük bilgisayar görüş modelleri. Bu ağırlık azaltma düzenliliğini gradyan güncellemesinden ayırır ve genellikle daha iyi genelleme ile sonuçlanır. Standart Adam.

Gerçek Dünya Uygulamaları

Sağlamlığı ve minimum gereksinimi nedeniyle hiperparametre ayarlama, Adam kullanılır çeşitli yüksek etkili alanlarda.

1. Sağlık Hizmetlerinde Yapay Zeka: Ne zaman için eğitim modelleri tıbbi görüntü analizi - örneğin MRI taramalarındaki anomaliler-veriler seyrek veya dengesiz olabilir. Adam'ın uyarlanabilir öğrenme oranları modelin yakınsamasına yardımcı olur belirli özellikler nadiren ortaya çıksa bile hızlı bir şekilde eğitim verilerinin daha hızlı dağıtılmasını kolaylaştırır. teşhis araçları.
2. Doğal Dil İşleme (NLP): GPT-4 gibi Büyük Dil Modelleri (LLM'ler) ön eğitim sırasında büyük ölçüde Adam 'a (veya AdamW) güvenir. Algoritma Genellikle milyarlarca olan çok sayıda parametreyi ve kelime yerleştirmelerinin seyrek doğasını verimli bir şekilde ele alır, bu modellerin geniş metin veri kümelerinden karmaşık dilbilimsel kalıpları öğrenmesine olanak tanır. Wikipedia.

Ultralytics YOLO'da Kullanım

Ultralytics Python API'sini kullanırken, kolayca şunları seçebilirsiniz nesne algılama, segmentasyon veya poz tahmin modellerini eğitmek için Adam optimizer. SGD varsayılan olarak kullanılırken Adam , birçok YOLO konfigürasyonu için, daha küçük veri kümeleri için veya hızlı yakınsama gerektiğinde mükemmel bir alternatiftir. öncelikli.

Aşağıdaki örnekte bir YOLO11Adam optimizer kullanarak model:

from ultralytics import YOLO

# Load a generic YOLO11 model
model = YOLO("yolo11n.pt")

# Train the model on the COCO8 dataset using the 'Adam' optimizer
# The 'optimizer' argument creates the specific PyTorch optimizer instance internally
results = model.train(data="coco8.yaml", epochs=5, optimizer="Adam")

Bu esneklik, araştırmacıların ve mühendislerin aşağıdakileri denemesine olanak tanır için en iyi kurulumu bulmak için optimize edici konfigürasyonları belirli özel veri kümeleri.