Sigmoid

Sigmoid fonksiyonu temel bir alanlarında yaygın olarak kullanılan aktivasyon fonksiyonu makine öğrenimi (ML) ve derin öğrenme (DL). Matematiksel olarak şu şekilde gösterilir lojistik bir fonksiyon olarak karakterize edilir. sigmoid eğri olarak bilinen farklı "S" şekilli eğri. Sigmoid'in birincil işlevi, herhangi bir gerçek değerli giriş sayısını 0 ve 1 aralığında bir değere dönüştürür. Bu ezme özelliği onu istisnai olarak tahmin etmesi gereken modeller için kullanışlıdır olasılıklar, çıktı doğrudan belirli bir olayın meydana gelme olasılığı olarak yorumlanır. Doğrusal olmayan bir yapıya sinir ağı (NN), Sigmoid fonksiyonu şunları sağlar basit veri modellerinin ötesine geçen karmaşık veri modellerini öğrenmek için doğrusal regresyon.

Yapay Zekada Temel Uygulamalar

Sigmoid işlevi, belirli ağ mimarilerinde ve görevlerinde, özellikle de çıktılar söz konusu olduğunda kritik bir rol oynar bağımsız olasılıklar olarak yorumlanması gerekir. Daha yeni fonksiyonlar derin katmanlar için gizli katmanlarda yerini almış olsa da ağlarında, birçok önemli uygulama için çıktı katmanlarında bir standart olmaya devam etmektedir.

• İkili Sınıflandırma: Hedefin girdileri birbirini dışlayan iki sınıftan birine kategorize etmek olduğu görevlerde - örneğin Bir e-postanın "spam" veya "spam değil" olduğunu belirlemek için Sigmoid fonksiyonu ideal seçimdir. son katman. Pozitif sınıfın olasılığını temsil eden 0 ile 1 arasında tek bir skaler değer çıktısı verir. Örneğin, tıbbi görüntü analizinde, bir model 0,95 çıktısı verebilir, bu da tespit edilen bir anomalinin kötü huylu olduğuna dair %95 güvene işaret eder.
• Çoklu Etiket Sınıflandırması: Bir girdinin yalnızca bir kategoriye ait olduğu çok sınıflı görevlerin aksine, çok etiketli görevler bir girdinin aynı anda birden fazla etiket. Örneğin, bir gibi nesne algılama modeli Ultralytics YOLO11detect etmesi gerekebilir. "kişi", "bisiklet" ve "kask" tek bir görüntüde. Burada Sigmoid uygulanır Her bir çıkış düğümüne bağımsız olarak, modelin her bir sınıfın varlığını veya yokluğunu tahmin etmesine olanak tanır. olasılıkları bire toplamaya zorlar.
• Tekrarlayan Sinir Ağı (RNN) Geçitleme: Sigmoid, aşağıdaki gibi gelişmiş sekans modellerinin geçit mekanizmalarında çok önemli bir bileşendir Uzun Kısa Süreli Bellek (LSTM) ağlarıdır. Bu mimarilerde, "unutma kapıları" ve "giriş kapıları" çıkış için Sigmoid kullanır 0 (tamamen unutma/engelleme) ve 1 (tamamen hatırlama/geçme) arasındaki değerler, etkin bir şekilde zaman içinde bilgi. Bu mekanizma, klasik olarak şu kitapta derinlemesine açıklanmaktadır LSTM'ler üzerine araştırma.

İlgili Aktivasyon Fonksiyonları ile Karşılaştırma

Sinirsel mimarileri etkili bir şekilde tasarlamak için Sigmoid'i diğer aktivasyon fonksiyonlarından ayırt etmek önemlidir. her biri farklı bir amaca hizmet eder.

• Softmax: Her iki fonksiyon da olasılıkla ilgili olsa da Softmax, sınıfların aşağıdaki gibi olduğu çok sınıflı sınıflandırma için kullanılır birbirini dışlar. Softmax, tüm sınıflardaki çıktıların toplamının tam olarak 1 olmasını sağlayarak bir olasılık oluşturur dağılımı. Buna karşılık, Sigmoid her çıktıyı bağımsız olarak ele alır, bu da onu ikili veya çok etiketli çıktılar için uygun hale getirir. görevler.
• ReLU (Doğrultulmuş Lineer Birim): ReLU, modern derin ağlardaki gizli katmanlar için tercih edilen aktivasyon fonksiyonudur. Sigmoid'in aksine 0 ve 1'de doygunluğa ulaşarak sırasında kaybolan gradyan problemi geri yayılım, ReLU gradyanların akmasına izin verir pozitif girdiler için daha serbesttir. Bu, aşağıda belirtildiği gibi eğitimi ve yakınsamayı hızlandırır Stanford CS231n ders notları.
• Tanh (Hiperbolik Tanjant): Tanh fonksiyonu Sigmoid'e benzer ancak girdileri -1 ila 1 aralığına eşler. Sıfır merkezli Tanh, eski mimarilerin ve bazı RNN'lerin gizli katmanlarında Sigmoid yerine sıklıkla tercih edilir, çünkü sonraki katmanlar için veri merkezlemeye yardımcı olur.

Uygulama Örneği

Aşağıdaki Python parçacığı Sigmoid fonksiyonunun nasıl uygulanacağını göstermektedir PyTorch. Bu yaygın bir işlemdir Ham model çıktılarını (logit) yorumlanabilir olasılıklara dönüştürmek için kullanılır.

import torch
import torch.nn as nn

# Raw outputs (logits) from a model for a binary or multi-label task
logits = torch.tensor([0.1, -2.5, 4.0])

# Apply the Sigmoid activation function
sigmoid = nn.Sigmoid()
probabilities = sigmoid(logits)

# Output values are squashed between 0 and 1
print(probabilities)
# Output: tensor([0.5250, 0.0759, 0.9820])

Sigmoid'in ne zaman kullanılacağını anlamak, etkili yapay zeka sistemleri oluşturmanın anahtarıdır. Derin gizli alanlarda sınırlamaları olsa da katmanları, gradyan doygunluğu nedeniyle, bağımsız olasılıkları modelleme yeteneği, onu kayıp fonksiyonu hesaplamaları ve nihai çıktı katmanları çok çeşitli görevler için.