Tanh (Hyperbolic Tangent)

Tanh (Hiperbolik Tanjant) fonksiyonu, yapay sinir ağlarının gizli katmanlarında yaygın olarak kullanılan matematiksel bir aktivasyon fonksiyonudur. Girdi değerlerini -1 ile 1 arasındaki bir çıktı aralığına dönüştürerek, sigmoid fonksiyonuna benzer ancak sıfır merkezli, S şeklinde bir eğri oluşturur. Bu sıfır merkezleme özelliği kritiktir çünkü modelin nöronların çıktısını normalleştirerek daha verimli öğrenmesini sağlar ve ağdan geçen verilerin ortalamasının sıfıra daha yakın olmasını garanti eder. Tanh, negatif değerleri açıkça ele alarak sinir ağlarının verideki daha karmaşık desenleri ve ilişkileri yakalamasına yardımcı olur.

Link to this sectionDerin Öğrenmede Tanh'in Mekanizması#

In the architecture of deep learning models, activation functions introduce non-linearity, enabling the network to learn complex boundaries between different classes of data. Without functions like Tanh, a neural network would behave like a simple linear regression model, regardless of how many layers it has. The Tanh function is particularly effective in recurrent neural networks (RNN) and certain types of feed-forward networks where maintaining a balanced, zero-centered activation distribution helps prevent the vanishing gradient problem during backpropagation.

Girdiler -1 ile 1 aralığına eşlendiğinde, güçlü negatif girdiler negatif çıktılarla, güçlü pozitif girdiler ise pozitif çıktılarla sonuçlanır. Bu, değerleri 0 ile 1 arasına sıkıştıran Sigmoid fonksiyonundan farklıdır. Tanh çıktıları sıfır etrafında simetrik olduğundan, sonraki katmanlardaki ağırlıklar sürekli tek bir yönde hareket etmediği için (optimizasyonda "zig-zag" yolu olarak bilinen bir fenomen) gradyan inişi süreci genellikle daha hızlı yakınsar.

Link to this sectionGerçek Dünya Uygulamaları#

Tanh, özellikle dizi işleme ve sürekli değer tahmini gereken belirli mimarilerde ve kullanım durumlarında hayati bir rol oynamaya devam etmektedir.

• Doğal Dil İşleme (NLP): Uzun Kısa Süreli Bellek (LSTM) ağları ve Geçitli Yinelemeli Birimler (GRU) gibi mimarilerde Tanh, bilgi akışını düzenlemek için birincil aktivasyon olarak kullanılır. Örneğin, bir modelin metni İngilizceden Fransızcaya çevirdiği makine çevirisi görevlerinde Tanh, LSTM'in dahili kapılarının önceki bağlamın (bellek) ne kadarının tutulacağına veya unutulacağına karar vermesine yardımcı olur. Bu, modelin cümle yapılarındaki uzun vadeli bağımlılıkları yönetmesini sağlar.
• Üretken Çekişmeli Ağlar (GAN): Birçok Üretken Çekişmeli Ağın üretici bileşeninde Tanh, çıktı katmanı için son aktivasyon fonksiyonu olarak sıklıkla kullanılır. Görüntüler ön işleme sırasında genellikle -1 ile 1 aralığına normalleştirildiğinden, Tanh kullanımı üreticinin piksel değerlerini aynı geçerli aralıkta üretmesini sağlar. Bu teknik, metinden görsele oluşturma gibi uygulamalar için gerçekçi görüntüler sentezlemeye yardımcı olur.

Link to this sectionKarşılaştırma: Tanh vs. Sigmoid vs. ReLU#

Onu ne zaman kullanacağını anlamak için Tanh'i diğer yaygın fonksiyonlardan ayırt etmek yararlıdır.

• Tanh vs. Sigmoid: Her ikisi de S şeklinde eğrilerdir. Ancak Sigmoid, gradyanların Tanh'den daha hızlı kaybolmasına neden olabilecek 0 ile 1 arasında değerler üretir. Sigmoid genellikle ikili sınıflandırma problemlerinin (olasılık tahmini) son çıktı katmanı için ayrılırken, Tanh RNN'lerdeki gizli katmanlar için tercih edilir.
• Tanh vs. ReLU (Düzeltilmiş Doğrusal Birim): YOLO26 gibi modern Evrişimli Sinir Ağlarında (CNN'ler), gizli katmanlar için genellikle Tanh yerine ReLU ve türevleri ( SiLU gibi) tercih edilir. Bunun nedeni, ReLU'nun çok derin ağlar için kaybolan gradyan problemini daha etkili bir şekilde önlemesi ve hesaplama açısından daha ucuz olmasıdır. Tanh, içerdiği üstel hesaplamalar nedeniyle hesaplama açısından daha maliyetlidir.

Link to this sectionPyTorch'ta Aktivasyonları Uygulama#

YOLO26 gibi üst düzey modeller aktivasyon tanımlarını yapılandırma dosyaları içinde dahili olarak yönetse de, PyTorch kullanarak Tanh'i nasıl uygulayacağını anlamak özel model oluşturma için yararlıdır.

import torch
import torch.nn as nn

# Define a sample input tensor with positive and negative values
input_data = torch.tensor([-2.0, -0.5, 0.0, 0.5, 2.0])

# Initialize the Tanh activation function
tanh = nn.Tanh()

# Apply Tanh to the input data
output = tanh(input_data)

# Print results to see values squashed between -1 and 1
print(f"Input: {input_data}")
print(f"Output: {output}")

Özel mimariler eğitmek veya veri kümelerini etkili bir şekilde yönetmek isteyen kullanıcılar için Ultralytics Platform, farklı model hiperparametrelerini denemek, eğitim metriklerini görselleştirmek ve sinir ağının her katmanını manuel olarak kodlamaya gerek kalmadan çözümler dağıtmak için düzenli bir ortam sunar.