Activation Function

Bir aktivasyon fonksiyonu, bir girdi kümesi verildiğinde nöronun çıktısını belirleyen, bir sinir ağının (NN) temel bileşenidir. Genellikle "kapı bekçisi" olarak tanımlanır; bir nöronun aktif olup olmayacağına, yani ağın tahminine katkıda bulunup bulunmayacağına karar verir. Bu matematiksel işlemler olmasaydı, bir sinir ağı, derinliğinden bağımsız olarak karmaşık desenleri kavrayamayan basit bir doğrusal regresyon modeli gibi davranırdı. Aktivasyon fonksiyonları, doğrusal olmama durumu ekleyerek derin öğrenme (DL) modellerinin el yazısıyla yazılmış rakamlardaki kıvrımlar veya tıbbi görüntü analizindeki ince anomaliler gibi karmaşık yapıları öğrenmesini sağlar.

Link to this sectionTemel İşlevsellik ve Yaygın Türler#

Bir aktivasyon fonksiyonunun birincil rolü, girdi sinyallerini istenen bir çıktı aralığına eşlemek ve ağ tarafından üretilen öznitelik haritalarına karmaşıklık katmaktır. Geliştiriciler, katmanın konumuna ve model eğitimi sürecinin hedeflerine göre belirli fonksiyonları seçerler.

• ReLU (Düzeltilmiş Doğrusal Birim): Şu anda gizli katmanlar için en yaygın kullanılan fonksiyondur. Pozitifse girdiyi doğrudan çıktı olarak verir, aksi takdirde sıfır döndürür. Bu basitlik, hesaplamayı hızlandırır ve derin mimariler eğitilirken sık karşılaşılan bir zorluk olan kaybolan gradyan problemini hafifletmeye yardımcı olur.
• Sigmoid: Bu fonksiyon, girdi değerlerini 0 ile 1 arasına "sıkıştırır". Bir e-postanın spam olup olmadığını belirlemek gibi ikili sınıflandırma görevlerinde son katmanda sıklıkla kullanılır, çünkü çıktı bir olasılık puanı olarak yorumlanabilir.
• Softmax: Essential for multi-class problems, Softmax converts a vector of numbers into a probability distribution where all values sum to one. This is standard in image classification challenges like those found in the ImageNet dataset.
• SiLU (Sigmoid Doğrusal Birim): YOLO26 gibi en son teknoloji mimarilerde sıklıkla kullanılan pürüzsüz, monoton olmayan bir fonksiyondur. SiLU, çok derin modellerde ReLU'dan daha iyi gradyan akışına izin vererek daha yüksek doğruluk oranlarına katkıda bulunur.

Link to this sectionYapay Zekada Gerçek Dünya Uygulamaları#

Aktivasyon fonksiyonu seçimi, günlük operasyonlarda kullanılan yapay zeka sistemlerinin performansını ve çıkarım gecikmesini doğrudan etkiler.

1. Perakende Nesne Tespiti: Otomatik ödeme sistemlerinde, nesne tespiti modelleri, taşıma bandındaki ürünleri tanımlar. Gizli katmanlar, görsel özellikleri hızlı bir şekilde işlemek için ReLU veya SiLU gibi verimli fonksiyonlar kullanır. Çıktı katmanı, sınıfı (örneğin, "elma", "mısır gevreği") ve sınırlayıcı kutu koordinatlarını belirleyerek sistemin faturayı otomatik olarak hesaplamasını sağlar. Bu, hız ve müşteri memnuniyetini sağlamak için perakendede yapay zeka açısından kritiktir.

2. Duygu Analizi: Doğal dil işleme (NLP) alanında modeller, memnuniyeti ölçmek için müşteri yorumlarını analiz eder. Bir ağ, metin verilerini işleyebilir ve son katmanda 0 (negatif) ile 1 (pozitif) arasında bir duygu puanı çıktısı almak için Sigmoid fonksiyonunu kullanabilir; bu da işletmelerin makine öğrenimi (ML) kullanarak müşteri geri bildirimlerini geniş ölçekte anlamalarına yardımcı olur.

Link to this sectionUygulama Örneği#

PyTorch kütüphanesini kullanarak farklı aktivasyon fonksiyonlarının verileri nasıl dönüştürdüğünü görselleştirebilirsin. Aşağıdaki kod parçacığı, ReLU (negatifleri sıfırlayan) ve Sigmoid (değerleri sıkıştıran) arasındaki farkı gösterir.

import torch
import torch.nn as nn

# Input data: negative, zero, and positive values
data = torch.tensor([-2.0, 0.0, 2.0])

# Apply ReLU: Negatives become 0, positives stay unchanged
relu_output = nn.ReLU()(data)
print(f"ReLU:    {relu_output}")
# Output: tensor([0., 0., 2.])

# Apply Sigmoid: Squashes values between 0 and 1
sigmoid_output = nn.Sigmoid()(data)
print(f"Sigmoid: {sigmoid_output}")
# Output: tensor([0.1192, 0.5000, 0.8808])

Link to this sectionİlgili Kavramları Ayırt Etme#

Aktivasyon fonksiyonlarını, öğrenme hattındaki diğer matematiksel bileşenlerden ayırmak önemlidir.

• Aktivasyon Fonksiyonu vs. Kayıp Fonksiyonu: Bir aktivasyon fonksiyonu, nöronun çıktısını şekillendirmek için ileri geçiş (forward pass) sırasında çalışır. Ortalama Kare Hata gibi bir kayıp fonksiyonu ise, ileri geçişin sonunda tahmin ile gerçek hedef arasındaki hatayı hesaplar.
• Aktivasyon Fonksiyonu vs. Optimizasyon Algoritması: Aktivasyon fonksiyonu çıktı yapısını belirlerken, optimizer ( Adam veya Stokastik Gradyan İnişi gibi), kayıp fonksiyonu tarafından hesaplanan hatayı en aza indirmek için model ağırlıklarının nasıl güncelleneceğine karar verir.
• Aktivasyon Fonksiyonu vs. Transfer Öğrenme: Aktivasyon fonksiyonları, ağın katmanları içindeki sabit matematiksel işlemlerdir. Transfer öğrenme, önceden eğitilmiş bir modelin yeni bir görev için uyarlandığı bir tekniktir; genellikle ağırlıkları Ultralytics Platform aracılığıyla özel bir veri kümesi üzerinde ince ayar yaparken orijinal mimarinin aktivasyon fonksiyonlarını korur.

Bu fonksiyonların daha büyük sistemlere nasıl uyum sağladığına dair daha derinlemesine bir inceleme için PyTorch'un doğrusal olmayan aktivasyonlar hakkındaki dokümantasyonunu keşfedebilir veya bilgisayarlı görü görevlerinin öznitelik çıkarma için bunlara nasıl dayandığını okuyabilirsin.