Dropout Katmanı

Bir bırakma katmanı temel bir kullanılan düzenli hale getirme tekniği yaygın sorunu önlemek için sinir ağları (NN) aşırı uyum. Bir model bir veri kümesi üzerinde eğitildiğinde, gürültüsünü ve özel ayrıntılarını öğrenme riskini taşır. temel genel veriler yerine eğitim verileri kalıpları. Bu ezberleme yeni, görülmemiş veriler üzerinde düşük performansa yol açar. Dropout bunu rastgele bir şekilde ele alır Eğitimin her aşamasında bir katmandaki nöronların bir kısmının devre dışı bırakılması ya da "bırakılması" süreci. Bu basit ama etkili strateji bir Geoffrey Hinton ve arkadaşlarının ufuk açıcı araştırma makalesi alanını önemli ölçüde ilerleten meslektaşları derin öğrenme (DL).

Bırakma Katmanları Nasıl Çalışır?

Bir bırakma katmanının arkasındaki mekanizma basit ama güçlüdür. sırasında model eğitim aşamasında, katman bir bırakma oranı olarak bilinen belirli bir olasılığa dayalı olarak sıfırlar ve birler maskesi. Eğer oran 0,5 olarak ayarlanırsa, nöronların yaklaşık %50'si bu ileri ve geri geçiş sırasında geçici olarak göz ardı edilir. Bu zorlar Kalan aktif nöronların öne çıkıp sağlam özellikleri bağımsız olarak öğrenmesi, ağın çok fazla güvenmesini önler olarak bilinen bir fenomen olan tek bir nöron üzerinde ağır ortak adaptasyon.

Çıkarım veya test aşaması sırasında bırakma katmanı tipik olarak kapalıdır. Eğitilen modelin tam kapasitesini kullanmak için tüm nöronlar aktiftir. için toplam aktivasyon değerlerinin eğitim aşamasıyla tutarlı kalmasını sağlamak için, ağırlıklar genellikle ölçeklendirilir çerçeve tarafından otomatik olarak. Gibi modern kütüphaneler PyTorch bu işlemleri sorunsuz bir şekilde bırakma uygulaması.

Kullanıcılar için ultralytics paketi gibi bir modele dropout uygulayarak YOLO11 bir eğitim argümanını ayarlamak kadar basittir.

from ultralytics import YOLO

# Load a standard YOLO11 model
model = YOLO("yolo11n.pt")

# Train the model on a dataset with a custom dropout rate of 0.2
# This helps prevent overfitting on smaller datasets
results = model.train(data="coco8.yaml", epochs=10, dropout=0.2)

Gerçek Dünya Uygulamaları

Bırakma, çeşitli alanlarda vazgeçilmezdir yapay zeka (AI) nerede modeller, çok sayıda parametre veya sınırlı veri nedeniyle aşırı uyuma eğilimlidir.

1. Bilgisayarla Görme: Aşağıdaki gibi görevlerde görüntü sınıflandırma ve nesne algılama, bırakma modellere yardımcı olur farklı gerçek dünya ortamlarına daha iyi genelleştirilebilir. Örneğin, içinde otomotiv yapay zeka çözümleri, eğitilmiş bir vizyon modeli yayaları tanımak için farklı hava koşullarında ve aydınlatmada güvenilir bir performans göstermelidir. Bırakma şunları sağlar modeli, belirli arka plan dokularını ezberlemek yerine temel şekillere ve özelliklere odaklanır. kıyaslama veri seti.
2. Doğal Dil İşleme (NLP): Bırakma, aşağıdakilerde standart bir bileşendir Aşağıdakiler için kullanılan transformatör mimarileri Büyük Dil Modelleri (LLM'ler). Ne zaman makine çevirisi için eğitim modelleri veya duyarlılık analizi, bırakma önler ağını belirli kelime dizilerine aşırı güvenmekten alıkoyarak daha derin anlamları yakalamaya teşvik eder ve gramer yapıları.

İlgili Kavramlardan Farklılıklar

Bırakmanın diğer tekniklerden nasıl farklılaştığını anlamak, etkili hiperparametre ayarı.

• Bırakma ve Veri Artırma: Her iki yöntem de genellemeyi iyileştirir, veri artırımı yapay olarak döndürme ve ölçekleme gibi dönüşümler yoluyla eğitim setini genişletir. Buna karşılık, eğitimden çıkarma ağ mimarisinin kendisi dinamik olarak. Genellikle bu ikisi birleştirilir; örneğin, YOLO veri artırımı aşağıdakilerle birlikte kullanılır model sağlamlığını en üst düzeye çıkarmak için bırakma.
• Bırakma ve Toplu Normalleştirme: Toplu Normal leştirme aşağıdakilerin girdilerini normalleştirir öğrenme sürecini stabilize etmek ve daha yüksek öğrenme oranlarına izin vermek için her katman. Hafif bir düzenleyici etkiye sahip olsa da etkisi, birincil hedefi optimizasyon hızı ve kararlılığı iken, bırakma açıkça modeli azaltmak için tasarlanmıştır Karmaşıklık.
• Bırakma ve Ağırlık Azalması (L2 Düzenlemesi): Ağırlık azalması, bir ceza terimi ekler boyutuyla orantılı kayıp fonksiyonu ağırlıkları sıfıra doğru daraltır. Bununla birlikte, okul terki bir etkili bir şekilde eğiterek topluluk etkisi her çağda alt ağlar, farklı bir bakış açısı sağlar düzenli hale getirme. Bu farklılıklar hakkında daha fazla bilgi için Stanford'un CS231n ders notları.