Sigmoid

Sigmoid fonksiyonu, makine öğrenimi (ML) ve derin öğrenmede (DL) kullanılan popüler bir aktivasyon fonksiyonudur. Karakteristik bir "S" şeklinde veya sigmoidal bir eğri üreten matematiksel bir fonksiyondur. Temel amacı, herhangi bir gerçek değerli sayıyı almak ve onu 0 ile 1 arasındaki bir aralığa "sıkıştırmaktır". Bu çıktı genellikle bir olasılık olarak yorumlanır, bu da Sigmoid'i bir sonucun olasılığını tahmin etme amacının olduğu modellerde özellikle kullanışlı kılar. Bir sinir ağına (NN) doğrusal olmayanlık katarak, modelin basit doğrusal dönüşümlerle imkansız olacak verilerden karmaşık desenler öğrenmesini sağlar.

Rolü ve Uygulamaları

Sigmoid fonksiyonunun girdileri olasılık benzeri bir çıktıya eşleme yeteneği, onu belirli görev türleri için bir köşe taşı yapar. Modern derin sinir ağlarının gizli katmanlarında daha az yaygın hale gelmiş olsa da, belirli senaryolarda çıktı katmanı için standart bir seçim olmaya devam etmektedir.

Temel Uygulamalar

• İkili Sınıflandırma (Binary Classification): İkili sınıflandırma problemlerinde amaç, bir girdiyi iki sınıftan birine ayırmaktır (örneğin, spam veya spam değil, hastalık var veya yok). Çıktı katmanındaki bir Sigmoid fonksiyonu, girdinin pozitif sınıfa ait olma olasılığını temsil eden 0 ile 1 arasında tek bir değer sağlar. Örneğin, bir tıbbi görüntü analizi modeli, bir tümörün kötü huylu olma olasılığının %90 olduğunu gösteren 0,9 olasılığını çıktı olarak vermek için Sigmoid kullanabilir.
• Çok Etiketli Sınıflandırma: Bir girdinin yalnızca bir sınıfa ait olduğu çok sınıflı sınıflandırmanın aksine, çok etiketli görevler bir girdinin aynı anda birden fazla etiketle ilişkilendirilmesine izin verir. Örneğin, nesne algılama modeli gibi Ultralytics YOLO bir görüntüyü analiz edebilir ve aynı anda bir "araba", "yaya" ve "trafik ışığı"nı tanımlayabilir. Bu durumda, her olası etiket için olasılık veren bir Sigmoid fonksiyonu her çıktı nöronuna bağımsız olarak uygulanır. Nesne algılamanın evrimi hakkında daha fazla bilgi edinebilirsiniz.
• RNN'lerde Kapılama Mekanizmaları: Sigmoid fonksiyonları, Tekrarlayan Sinir Ağları'nın (RNN'ler), Uzun Kısa Süreli Bellek (LSTM) ve Kapılı Tekrarlayan Birimler (GRU) gibi kapılama mekanizmalarının temel bir bileşenidir. Bu kapılar, bilgi akışını kontrol etmek, hangi verileri saklayacağına veya atacağına karar vermek için Sigmoid'i kullanır. Bu mekanizma, LSTM'leri anlamak üzerine bu ayrıntılı blog gönderisinde açıklandığı gibi, sıralı verilerdeki uzun vadeli bağımlılıkları öğrenmek için çok önemlidir.

Diğer Aktivasyon Fonksiyonları ile Karşılaştırma

Sigmoid fonksiyonunu ne zaman kullanacağınızı anlamak için diğer aktivasyon fonksiyonlarından ayırmak önemlidir.

• Softmax: Softmax fonksiyonu tipik olarak, her girdinin olası çeşitli sınıflardan yalnızca birine ait olduğu çok sınıflı sınıflandırma problemleri için kullanılır. Her çıktı için bağımsız olasılıklar hesaplayan Sigmoid'in aksine, Softmax, toplamı 1'e eşit olan tüm sınıflar arasında bir olasılık dağılımı hesaplar. Örneğin, MNIST veri kümesinden el yazısıyla yazılmış rakamları sınıflandıran bir model, 0'dan 9'a kadar her rakama tek bir olasılık atamak için Softmax'ı kullanır.
• ReLU (Düzeltilmiş Doğrusal Birim): ReLU, derin ağlardaki gizli katmanlar için fiili standart haline gelmiştir. Hesaplama açısından daha verimlidir ve kaybolan gradyan sorununu hafifletmeye yardımcı olur; bu, geri yayılım sırasında gradyanların son derece küçüldüğü, öğrenme sürecini yavaşlatan veya durduran Sigmoid ile ilgili önemli bir sorundur. Gradyanların zorlukları hakkında bu DeepLearning.AI makalesinden daha fazla bilgi edinebilirsiniz.
• SiLU (Sigmoid Doğrusal Birim): Swish olarak da bilinir, SiLU Sigmoid'den türetilmiş daha modern bir aktivasyon fonksiyonudur. Gelişmiş bilgisayarlı görü mimarileri de dahil olmak üzere daha derin modellerde genellikle ReLU'dan daha iyi performans gösterir. Ultralytics modelleri, hız ve doğruluk arasında daha iyi bir denge sağlamak için genellikle gelişmiş aktivasyon fonksiyonlarından yararlanır.

Modern Kullanım ve Erişilebilirlik

Günümüzde gizli katmanlarda daha az yaygın olsa da, Sigmoid ikili ve çok etiketli sınıflandırma görevlerinde çıktı katmanları için standart bir seçim olmaya devam etmektedir. Ayrıca, sıralı verileri işleyen karmaşık mimarilerdeki kapı mekanizmalarında temel bir bileşen oluşturur.

Sigmoid, tüm büyük platformlarda kolayca kullanılabilir derin öğrenme çerçeveleri, dahil olmak üzere PyTorch (olarak torch.sigmoid) ve TensorFlow (olarak tf.keras.activations.sigmoid). Gibi platformlar Ultralytics HUB çeşitli aktivasyon fonksiyonlarını kullanan modelleri destekler ve kullanıcıların eğit ve dağıt gelişmiş bilgisayarlı görü çözümleri.