Softmax

Softmax Nasıl Çalışır?

Kavramsal olarak, Softmax işlevi bir sinir ağı katmanından ham çıktı puanlarını alır ve bunları dönüştürür. Bunu ilk olarak her skoru üslendirerek yapar, bu da tüm değerleri pozitif yapar ve daha büyük skorları daha belirgin bir şekilde vurgular. Ardından, her birini tüm üslendirilmiş puanların toplamına bölerek bu üslendirilmiş puanları normalleştirir. Bu normalleştirme adımı, elde edilen değerlerin 0 ile 1 arasında olmasını ve topluca 1'e eşit olmasını sağlayarak farklı sınıflar arasında etkili bir olasılık dağılımı oluşturur. En yüksek olasılık değerine karşılık gelen sınıf tipik olarak modelin nihai tahmini olarak seçilir. Bu süreç, sınıflandırma görevleriyle ilgilenen derin öğrenme (DL) modellerinde temeldir.

Temel Özellikler

• Olasılık Dağılımı: Çıktılar her sınıf için olasılıkları temsil eder ve her zaman 1 ile toplanır.
• Çoklu Sınıf Odağı: Bir girdinin yalnızca birkaç olası sınıftan birine ait olabileceği senaryolar için özel olarak tasarlanmıştır (birbirini dışlayan).
• Çıktı Yorumlama: Modelin çıktısını sezgisel hale getirir ve her sınıf için güven düzeyini temsil eder.
• Farklılaştırılabilirlik: Pürüzsüz ve türevlenebilir olması, model eğitimi sırasında gradyan inişi gibi gradyan tabanlı optimizasyon algoritmalarıyla etkili bir şekilde kullanılmasına olanak tanır.

Softmax ve İlgili Aktivasyon Fonksiyonları

Softmax'ı diğer aktivasyon fonksiyonlarından ayırmak önemlidir:

• Sigmoid: Sigmoid de 0 ile 1 arasında değerler verirken, tipik olarak ikili sınıflandırma (bir çıkış nöronu) veya çok etiketli sınıflandırma (her çıkışın bağımsız bir olasılığı temsil ettiği ve toplamın 1'e eşit olması gerekmeyen çoklu çıkış nöronları) için kullanılır. Softmax, sınıflar birbirini dışladığında kullanılır. Daha fazla ayrıntı Stanford CS231n notları gibi kaynaklarda bulunabilir.
• ReLU (Doğrultulmuş Doğrusal Birim): ReLU ve Sızdıran Re LU veya SiLU gibi varyantları, doğrusal olmayanlığı tanıtmak için öncelikle sinir ağlarının gizli katmanlarında kullanılır. Son sınıflandırma katmanı için uygun olasılık benzeri çıktılar üretmezler. DeepLearning.AI, sinir ağlarındaki aktivasyon fonksiyonlarını açıklayan kurslar sunmaktadır.

Yapay Zeka ve Makine Öğrenimi Uygulamaları

Softmax, çeşitli Yapay Zeka ve Makine Öğrenimi (ML) alanlarında yaygın olarak kullanılmaktadır:

• Çok Sınıflı Görüntü Sınıflandırma: Köşe taşı bir uygulama. Örneğin, CIFAR-10 veri kümesi üzerinde eğitilen bir model, 10 sınıfın (örneğin, uçak, otomobil, kuş) her biri için olasılıkları çıkarmak için son katmanında Softmax kullanır. Konvolüsyonel Sinir Ağları (CNN'ler) sınıflandırma görevleri için büyük ölçüde Softmax ' e dayanır. Ultralytics belgelerinde önceden eğitilmiş sınıflandırma modellerini keşfedebilirsiniz.
• Doğal Dil İşleme (NLP): Dil modelleme (bir kelime dağarcığından bir sonraki kelimeyi tahmin etme), duygu analizi (metni olumlu, olumsuz veya tarafsız olarak sınıflandırma) ve makine çevirisi gibi görevlerde kullanılır. Transformer gibi modern mimariler, dikkat mekanizmalarında ve çıktı katmanlarında genellikle Softmax kullanır. Hugging Face Softmax kullanan birçok model sunmaktadır.
• Nesne Algılama: Gibi modellerde Ultralytics YOLOv8 veya YOLO11Algılama kafası, bir sınırlayıcı kutu içinde algılanan her nesnenin sınıf olasılıklarını belirlemek için Softmax (veya bazen çok etiketli senaryolar için Sigmoid) kullanır. Bu, COCO gibi veri kümelerine dayalı olarak 'kişi', 'araba' veya 'trafik ışığı' gibi etiketlerin atanmasına yardımcı olur.
• Takviyeli Öğrenme (RL): Politika tabanlı RL yöntemlerinde Softmax, ajan tarafından öğrenilen eylem tercihlerini olasılıklara dönüştürmek için kullanılabilir ve eylemlerin puanlarına göre olasılıksal olarak seçildiği stokastik politika seçimine izin verir. Sutton ve Barto'nun RL kitabı gibi kaynaklar bu kavramları kapsamaktadır.

Dikkate Alınması Gerekenler

Güçlü olmasına rağmen Softmax çok büyük girdi puanlarına karşı hassas olabilir ve potansiyel olarak sayısal kararsızlığa (taşma veya düşük taşma) yol açabilir. Gibi modern derin öğrenme çerçeveleri PyTorch ve TensorFlow Bu sorunları hafifletmek için Softmax'ın sayısal olarak kararlı sürümlerini uygulayın. Davranışını anlamak, genellikle deneyleri ve dağıtımları yönetmek için Ultralytics HUB gibi platformlar tarafından kolaylaştırılan etkili model eğitimi ve yorumlaması için çok önemlidir.