Tanh (Hiperbolik Tanjant)

Tanh (Hiperbolik Tangent) fonksiyonu, yapay sinir ağlarının gizli katmanlarında yaygın olarak kullanılan bir matematiksel aktivasyon fonksiyonudur. Giriş değerlerini -1 ile 1 arasındaki bir çıkış aralığına dönüştürerek, sigmoid fonksiyonuna benzer ancak sıfır merkezli bir Bu sıfır merkezleme özelliği, modelin nöronların çıktısını normalleştirerek daha verimli bir şekilde öğrenmesini sağladığı ve ağdan geçen verilerin ortalamasının sıfıra yakın olmasını sağladığı için çok önemlidir. Tanh, negatif değerleri açıkça işleyerek, sinir ağlarının veriler içindeki daha karmaşık kalıpları ve ilişkileri yakalamasına yardımcı olur. Tanh fonksiyonunun bir diğer özelliği de, çıkış aralığının genişliğinin, girdi aralığının genişliğiyle orantılı olmasıdır.

Derin Öğrenmede Tanh Mekanizması

Derin öğrenme modellerinin mimarisinde, aktivasyon fonksiyonları doğrusal olmayanlık getirerek ağın farklı veri sınıfları arasındaki karmaşık sınırları öğrenmesini sağlar. Tanh gibi fonksiyonlar olmasaydı, bir sinir ağı kaç katmanlı olursa olsun basit bir doğrusal regresyon modeli gibi davranırdı . Tanh fonksiyonu, özellikle tekrarlayan sinir ağlarında (RNN) ve dengeli, sıfır merkezli bir aktivasyon dağılımını sürdürmenin geri yayılım sırasında kaybolan gradyan sorununu önlemeye yardımcı olduğu belirli türdeki ileri beslemeli ağlarda

Girdiler -1 ile 1 aralığına eşleştirildiğinde, çok negatif girdiler negatif çıktılarla sonuçlanır ve çok pozitif girdiler pozitif çıktılarla sonuçlanır. Bu, değerleri 0 ile 1 arasında sıkıştıran Sigmoid fonksiyonundan farklıdır. Tanh çıktıları sıfır etrafında simetrik olduğundan, gradyan iniş süreci genellikle daha hızlı yakınsar, çünkü sonraki katmanlardaki ağırlıklar tek bir yönde tutarlı bir şekilde hareket etmez (optimizasyonda "zikzak" yolu olarak bilinen bir fenomen).

Gerçek Dünya Uygulamaları

Tanh, özellikle dizi işleme ve sürekli değer tahmini gereken belirli mimarilerde ve kullanım durumlarında hayati bir rol oynamaya devam etmektedir. ve sürekli değer tahmini gerektiren durumlarda.

• Doğal Dil İşleme (NLP): Uzun Kısa Vadeli Bellek (LSTM) ağları ve Gated Recurrent Units (GRU) gibi mimarilerde, Tanh bilgi akışını düzenlemek için birincil aktivasyon olarak kullanılır. Örneğin, bir modelin metni English çevirdiği makine çevirisi görevlerinde Tanh, LSTM'nin iç kapılarının önceki bağlamın (hafıza) ne kadarının saklanacağına veya unutulacağına karar vermesine yardımcı olur. Bu, modelin cümle yapılarındaki uzun vadeli bağımlılıkları işlemesine olanak tanır.
• Üretken Karşıt Ağlar (GAN'lar): Birçok Üretken Karşıt Ağın üretici bileşeninde, Tanh genellikle çıktı katmanı için son aktivasyon fonksiyonu olarak kullanılır. Görüntüler ön işleme sırasında genellikle -1 ile 1 aralığına normalleştirildiğinden, Tanh kullanmak üreticinin aynı geçerli aralıkta piksel değerleri üretmesini sağlar. Bu teknik, metinden görüntüye dönüştürme gibi uygulamalar için gerçekçi görüntüler sentezlemeye yardımcı olur.

Karşılaştırma: Tanh vs. Sigmoid vs. ReLU

Tanh'ı diğer yaygın fonksiyonlardan ayırmak, ne zaman kullanılması gerektiğini anlamak için yararlıdır.

• Tanh ve Sigmoid: Her ikisi de S şeklinde eğrilerdir. Ancak Sigmoid, 0 ile 1 arasında değerler üretir ve bu da gradyanların Tanh'a göre daha hızlı kaybolmasına neden olabilir. Sigmoid genellikle ikili sınıflandırma problemlerinin (olasılık tahmini) son çıktı katmanı için ayrılırken, Tanh ise RNN'lerde gizli katmanlar için tercih edilir.
• Tanh vs. ReLU (Düzeltilmiş Doğrusal Birim): YOLO26 gibi modern Evrişimli Sinir Ağlarında (CNN'ler) ReLU ve varyantları ( SiLU gibi) gizli katmanlar için genellikle Tanh'a tercih edilir. Bunun nedeni, ReLU'nun çok derin ağlarda kaybolan gradyan sorununu daha etkili bir şekilde önlemesi ve hesaplaması daha ucuz olmasıdır. Tanh, içerdiği üstel hesaplamalar nedeniyle hesaplama açısından daha pahalıdır.

PyTorch'ta Aktivasyonları Uygulama

YOLO26 gibi üst düzey modeller, aktivasyon tanımlarını yapılandırma dosyaları içinde dahili olarak işlerken, Tanh'ı PyTorch kullanarak Tanh'ı nasıl uygulayacağınızı anlamak, özel model oluşturmak için yararlıdır.

import torch
import torch.nn as nn

# Define a sample input tensor with positive and negative values
input_data = torch.tensor([-2.0, -0.5, 0.0, 0.5, 2.0])

# Initialize the Tanh activation function
tanh = nn.Tanh()

# Apply Tanh to the input data
output = tanh(input_data)

# Print results to see values squashed between -1 and 1
print(f"Input: {input_data}")
print(f"Output: {output}")

Özel mimarileri eğitmek veya veri kümelerini etkili bir şekilde yönetmek isteyen kullanıcılar için Ultralytics , farklı model hiperparametrelerini denemek, eğitim metriklerini görselleştirmek ve sinir ağının her katmanını manuel olarak kodlamaya gerek kalmadan çözümleri uygulamak için