Softmax

Softmax, genellikle logitler olarak adlandırılan ham, gerçek değerli skorlardan oluşan bir vektörü olasılıklar vektörüne dönüştüren matematiksel bir fonksiyondur. Makine öğrenimi (ML) bağlamında, Softmax öncelikle bir sinir ağının çıktı katmanında bir aktivasyon fonksiyonu olarak kullanılır. Temel rolü, ağın son skorlarını çoklu, karşılıklı olarak dışlayıcı sınıflar üzerinde anlamlı bir olasılık dağılımına dönüştürmektir. Ortaya çıkan olasılıkların toplamı bire eşittir, bu da onları modelin her olası sonuç için güveni olarak yorumlamayı kolaylaştırır.

Softmax Nasıl Çalışır

Bir sinir ağının bir görüntünün hangi kategoriye ait olduğuna karar vermeye çalıştığını hayal edin. Ağın son katmanı, her kategori için bir dizi ham puan üretir. Daha yüksek bir puan, modelin o kategoriye daha fazla eğilimli olduğunu gösterir, ancak bu puanlar standartlaştırılmamıştır ve doğrudan çalışmak zor olabilir.

Softmax fonksiyonu bu skorları alır ve iki ana adım gerçekleştirir:

1. Her bir skora üstel fonksiyonu uygular. Bu, tüm değerleri pozitif yapar ve aralarındaki farkları abartır; daha büyük skorlar orantılı olarak çok daha büyük hale gelir.
2. Bu üstel skorları, her birini toplamlarına bölerek normalleştirir. Bu adım, değerleri toplu olarak 1.0'a ulaşacak şekilde aşağı ölçeklendirir ve etkili bir şekilde bir olasılık dağılımı oluşturur.

Nihai çıktı, her bir değerin modelin girdinin belirli bir sınıfa ait olduğuna dair tahmin edilen olasılığını temsil ettiği bir olasılıklar listesidir. En yüksek olasılığa sahip sınıf daha sonra nihai tahmin olarak seçilir.

Yapay Zeka ve Makine Öğreniminde Uygulamalar

Softmax, çok sınıflı sınıflandırma gerçekleştiren herhangi bir derin öğrenme modeli için temeldir. Net, olasılıksal bir çıktı sağlama yeteneği, onu çeşitli alanlarda paha biçilmez kılar.

• Image Classification: This is the most common use case. A Convolutional Neural Network (CNN) trained on a dataset like ImageNet will use Softmax in its final layer. For an image of a pet, the model might output probabilities like {Dog: 0.9, Cat: 0.08, Rabbit: 0.02}, clearly indicating its prediction. Models like Ultralytics YOLO use this for classification tasks.
• Doğal Dil İşleme (NLP): Dil modellemesinde, Softmax bir dizideki bir sonraki kelimeyi tahmin etmek için kullanılır. Bir Transformer gibi bir model, kelime dağarcığındaki her kelime için bir skor hesaplar ve bu skorları olasılıklara dönüştürmek için Softmax'ı kullanır. Bu, Büyük Dil Modellerinin (LLM'ler) temel bir bileşenidir ve makine çevirisinden metin oluşturmaya kadar olan uygulamalara güç verir.
• Tıbbi Görüntü Analizi: Farklı doku türlerini sınıflandırmak veya patolojileri (örn. iyi huylu, kötü huylu veya sağlıklı) tanımlamak için tıbbi taramaları analiz ederken, bir model her teşhise bir olasılık atamak için Softmax kullanacak ve klinisyenlerin daha bilinçli kararlar almasına yardımcı olacaktır.
• Pekiştirmeli Öğrenme: Politika tabanlı pekiştirmeli öğrenmede, Softmax, farklı eylemlerin öğrenilmiş değerlerini, bir aracının gerçekleştirebileceği olası eylemler üzerinde bir olasılık dağılımı olan bir politikaya dönüştürmek için kullanılabilir.

Softmax - Diğer Aktivasyon Fonksiyonları Karşılaştırması

Softmax'ı diğer yaygın aktivasyon fonksiyonlarından ayırmak önemlidir, çünkü farklı amaçlara hizmet ederler.

• Sigmoid: Sigmoid fonksiyonu da 0 ile 1 arasında değerler verir, ancak girdi aynı anda birden fazla sınıfa ait olabildiği ikili sınıflandırma (bir sınıfa karşı diğer sınıf) veya çok etiketli sınıflandırma için kullanılır. Örneğin, bir film hem "Komedi" hem de "Aksiyon" olarak sınıflandırılabilir. Buna karşılık, Softmax, sınıfların birbirini dışladığı çok sınıflı sınıflandırma içindir; el yazısıyla yazılmış bir rakam 7 veya 8 olmalıdır, ancak her ikisi birden olamaz.
• ReLU (Düzeltilmiş Doğrusal Birim): ReLU ve Leaky ReLU ve SiLU gibi varyantları, bir sinir ağının gizli katmanlarında kullanılır. Birincil görevleri, modelin verilerdeki karmaşık kalıpları öğrenmesini sağlayan doğrusal olmayanlık sağlamaktır. Olasılık üretmezler ve sınıflandırma için çıktı fonksiyonları olarak kullanılmazlar.
• Tanh (Hiperbolik Tanjant): Tanh, değerleri -1 ile 1 arasındaki bir aralığa sıkıştırır. ReLU gibi, özellikle eski Tekrarlayan Sinir Ağı (RNN) mimarilerinde gizli katmanlarda kullanılır. Sınıflandırma görevleri için olasılık çıktıları üretmek için uygun değildir.

Pratik Hususlar

Güçlü olmasına rağmen, Softmax çok büyük girdi skorlarına duyarlı olabilir, bu da bazen sayısal kararsızlığa (taşma veya yetersiz akış) yol açabilir. Bunu ele almak için, PyTorch ve TensorFlow gibi modern derin öğrenme çerçeveleri, Softmax'ın sayısal olarak kararlı sürümlerini sahne arkasında uygular.

Softmax, model eğitimi sırasında neredeyse her zaman Çapraz Entropi Kaybı (veya Log Kaybı) adı verilen belirli bir kayıp fonksiyonu ile eşleştirilir. Bu kombinasyon, çok sınıflı sınıflandırıcıları eğitmek için oldukça etkilidir. Softmax'ın davranışını anlamak, deneyleri ve dağıtımları kolaylaştırmak için Ultralytics HUB gibi platformlar kullanılarak yönetilebilen ve izlenebilen etkili model eğitimi ve yorumlama için çok önemlidir.