Tanh (Hyperbolic Tangent)

Tanh (Hiperbolik Tanjant) fonksiyonu, yapay sinir ağlarının gizli katmanlarında yaygın olarak kullanılan matematiksel bir aktivasyon fonksiyonudur. Giriş değerlerini -1 ile 1 arasında bir çıkış aralığına dönüştürür ve sigmoid fonksiyonuna benzer ancak sıfır merkezli S şeklinde bir eğri oluşturur. Bu sıfır merkezleme özelliği, nöronların çıktısını normalleştirerek ağ boyunca akan verilerin ortalamasının sıfıra daha yakın olmasını sağladığı ve modelin daha verimli öğrenmesine olanak tanıdığı için çok önemlidir. Negatif değerleri açık bir şekilde ele alarak Tanh, sinir ağlarının verideki daha karmaşık desenleri ve ilişkileri yakalamasına yardımcı olur.

Link to this sectionDerin Öğrenmede Tanh Mekanizması#

In the architecture of deep learning models, activation functions introduce non-linearity, enabling the network to learn complex boundaries between different classes of data. Without functions like Tanh, a neural network would behave like a simple linear regression model, regardless of how many layers it has. The Tanh function is particularly effective in recurrent neural networks (RNN) and certain types of feed-forward networks where maintaining a balanced, zero-centered activation distribution helps prevent the vanishing gradient problem during backpropagation.

Girişler -1 ile 1 arasına eşlendiğinde, güçlü negatif girişler negatif sonuçlar, güçlü pozitif girişler ise pozitif sonuçlar verir. Bu, değerleri 0 ile 1 arasına sıkıştıran Sigmoid fonksiyonundan farklıdır. Tanh çıktıları sıfır etrafında simetrik olduğundan, sonraki katmanlardaki ağırlıklar sürekli tek bir yönde hareket etmediği için (optimizasyonda "zikzak" yolu olarak bilinen bir fenomen) gradyan inişi süreci genellikle daha hızlı yakınsar.

Link to this sectionGerçek Dünya Uygulamaları#

Tanh, özellikle dizi işleme ve sürekli değer tahmini gerektiren belirli mimarilerde ve kullanım durumlarında hayati bir rol oynamaya devam etmektedir.

• Doğal Dil İşleme (NLP): Uzun Kısa Süreli Bellek (LSTM) ağları ve Gated Recurrent Unit (GRU) gibi mimarilerde Tanh, bilgi akışını düzenlemek için birincil aktivasyon olarak kullanılır. Örneğin, bir modelin metni İngilizceden Fransızcaya çevirdiği makine çevirisi görevlerinde Tanh, LSTM'in iç kapılarının önceki bağlamın (bellek) ne kadarını koruyacağına veya unutacağına karar vermesine yardımcı olur. Bu, modelin cümle yapılarındaki uzun vadeli bağımlılıkları yönetmesini sağlar.
• Üretken Çekişmeli Ağlar (GAN): Birçok Üretken Çekişmeli Ağın üretici bileşeninde, Tanh genellikle çıkış katmanı için son aktivasyon fonksiyonu olarak kullanılır. Görüntüler ön işleme sırasında genellikle -1 ile 1 arasına normalize edildiğinden, Tanh kullanmak üreticinin aynı geçerli aralıkta piksel değerleri oluşturmasını sağlar. Bu teknik, metinden görüntüye oluşturma gibi uygulamalar için gerçekçi görüntüler sentezlemeye yardımcı olur.

Link to this sectionKarşılaştırma: Tanh vs. Sigmoid vs. ReLU#

Ne zaman kullanılacağını anlamak için Tanh'ı diğer yaygın fonksiyonlardan ayırmak faydalıdır.

• Tanh vs. Sigmoid: Her ikisi de S şeklinde eğrilerdir. Ancak Sigmoid, gradyanların Tanh'tan daha hızlı kaybolmasına neden olabilen 0 ile 1 arasında değerler üretir. Sigmoid genellikle ikili sınıflandırma problemlerinin (olasılık tahmini) son çıkış katmanı için ayrılmıştır, Tanh ise RNN'lerdeki gizli katmanlar için tercih edilir.
• Tanh vs. ReLU (Düzeltilmiş Doğrusal Birim): YOLO26 gibi modern Evrişimli Sinir Ağlarında (CNN), ReLU ve türevleri (örneğin SiLU), gizli katmanlar için genellikle Tanh'a tercih edilir. Bunun nedeni, ReLU'nun çok derin ağlar için kaybolan gradyan problemini daha etkili bir şekilde önlemesi ve hesaplama açısından daha ucuz olmasıdır. Tanh, içerdiği üstel hesaplamalar nedeniyle hesaplama açısından daha maliyetlidir.

Link to this sectionPyTorch'ta Aktivasyonları Uygulama#

YOLO26 gibi üst düzey modeller aktivasyon tanımlarını kendi konfigürasyon dosyalarında dahili olarak yönetse de, özel model oluşturma süreçlerinde PyTorch kullanarak Tanh uygulamanın nasıl yapıldığını anlamak faydalıdır.

import torch
import torch.nn as nn

# Define a sample input tensor with positive and negative values
input_data = torch.tensor([-2.0, -0.5, 0.0, 0.5, 2.0])

# Initialize the Tanh activation function
tanh = nn.Tanh()

# Apply Tanh to the input data
output = tanh(input_data)

# Print results to see values squashed between -1 and 1
print(f"Input: {input_data}")
print(f"Output: {output}")

Özel mimariler eğitmek veya veri kümelerini etkili bir şekilde yönetmek isteyen kullanıcılar için Ultralytics Platform, farklı model hiperparametrelerini denemek, eğitim metriklerini görselleştirmek ve sinir ağının her katmanını manuel olarak kodlamaya gerek kalmadan çözümler dağıtmak için optimize edilmiş bir ortam sunar.