Bırakma Katmanı

Dropout Nasıl Çalışır?

Model eğitim süreci sırasında, bir Bırakma Katmanı her eğitim örneği için o katmandaki nöronların (birimlerin) bir kısmını rastgele "bırakır" veya devre dışı bırakır. Bu, seçilen bu nöronların çıkışlarının sıfıra ayarlandığı ve söz konusu örnek için ileri geçişe katkıda bulunmadıkları veya geri yayılma adımına katılmadıkları anlamına gelir. Bırakılacak nöronların oranı, tipik olarak 0,2 ile 0,5 arasında ayarlanan bir hiperparametre olan bırakma oranı ile belirlenir.

Önemli olarak, bırakma sadece eğitim sırasında aktiftir. Test verileri üzerinde çıkarım veya tahmin sırasında tüm nöronlar aktiftir. Çıkarım sırasında eğitim sırasında olduğundan daha fazla nöronun aktif olduğu gerçeğini telafi etmek için, katmanın çıktıları tipik olarak bırakma oranı ile ölçeklendirilir (ters çevrilmiş bırakma adı verilen bir teknik, genellikle aşağıdaki gibi çerçevelerde uygulanır PyTorch ve TensorFlow).

Dropout Kullanmanın Faydaları

Dropout Layers kullanmanın temel faydası, geliştirilmiş model genellemesi ve azaltılmış aşırı uyumdur. Bunu birkaç mekanizma aracılığıyla gerçekleştirir:

• Azaltılmış Ortak Adaptasyon: Nöronları rastgele bırakarak, bırakma, bir katman içindeki birimlerin eğitim sırasında hataları düzeltmek için birbirlerine aşırı bağımlı hale gelmesini (birlikte uyarlama) önler. Bu, her nöronu kendi başına yararlı olan daha sağlam ve bağımsız özellikler öğrenmeye zorlar.
• Örtük Topluluk: Eğitim sırasında bırakma uygulamak, ortak ağırlıklara sahip çok sayıda farklı "inceltilmiş" sinir ağını eğitmeye benzer. Çıkarım zamanında, ölçeklendirilmiş aktivasyonlara sahip tam ağın kullanılması, bu büyük topluluğun tahminlerinin ortalamasına yaklaşır ve bu da genellikle daha iyi performans ve sağlamlık sağlar.
• Hesaplama Verimliliği: Kavramsal olarak birden fazla modelin eğitilmesine benzemekle birlikte, dropout bu topluluk etkisini tek bir model eğitim döngüsü içinde elde eder ve bu da onu hesaplama açısından açık model topluluğundan çok daha ucuz hale getirir.

Gerçek Dünya Uygulamaları

Dropout, yapay zeka (AI) ve makine öğreniminin (ML) çeşitli alanlarında yaygın olarak kullanılmaktadır:

1. Bilgisayarla Görme: Bilgisayarla görmede (CV), bırakma aşağıdaki gibi modellere yardımcı olur Ultralytics YOLOnesne algılama, görüntü sınıflandırma ve örnek segmentasyonu gibi görevlerde daha iyi performans gösterir. Örneğin, otonom sürüş sistemlerinde, bırakma, algılama modellerini aydınlatma, hava durumu veya oklüzyonlardaki değişikliklere karşı daha sağlam hale getirerek güvenliği ve güvenilirliği artırabilir. Bu tür modellerin eğitimi Ultralytics HUB gibi platformlar kullanılarak etkili bir şekilde yönetilebilir.
2. Doğal Dil İşleme (NLP): Dropout, Transformers ve BERT gibi NLP model lerinde yaygın olarak uygulanır. Makine çevirisi veya duygu analizi gibi uygulamalarda dropout, modelin eğitim verilerinden belirli ifadeleri veya cümle yapılarını ezberlemesini önleyerek yeni metnin daha iyi anlaşılmasını ve oluşturulmasını sağlar. Bu, sohbet robotlarının ve metin özetleme araçlarının performansını artırır.

İlgili Kavramlar ve Ayrımlar

Dropout, derin öğrenmede düzenlileştirme için kullanılan çeşitli tekniklerden biridir. Diğerleri şunları içerir:

• L1 ve L2 Düzenlileştirme: Bu yöntemler, model ağırlıklarının büyüklüğüne bağlı olarak kayıp fonksiyonuna bir ceza ekleyerek daha küçük ağırlıkları teşvik eder. L1/L2 düzenlileştirme hakkında daha fazla bilgi edinin.
• Toplu Normalizasyon: Toplu Normal leştirme (BN), bir katman içindeki aktivasyonları normalleştirir, bu da eğitimi stabilize edebilir ve bazen hafif bir düzenleyici etki sağlayarak potansiyel olarak güçlü bırakma ihtiyacını azaltır. BN dahili ortak değişken kaymasını ele alırken, Dropout fazlalığı zorlayarak doğrudan model karmaşıklığını hedefler.
• Veri Büyütme: Görüntüleri döndürme, ölçekleme veya kırpma gibi teknikler(veri büyütme) eğitim veri kümesinin çeşitliliğini yapay olarak artırır, bu da aşırı uyumu önlemeye ve genellemeyi iyileştirmeye yardımcı olur. Dropout ve veri artırma genellikle birlikte kullanılır.

Özetle, Dropout Katmanı, bilgisayarla görmeden NLP'ye kadar çeşitli uygulamalarda sağlam derin öğrenme modellerini eğitmek için gerekli olan basit ama güçlü bir düzenleme tekniğidir.