Tanh (Hiperbolik Tanjant)

Tanh (Hiperbolik Tanjant), sinir ağlarında yaygın olarak kullanılan bir aktivasyon fonksiyonudur. Giriş değerlerini -1 ile 1 arasında bir aralığa sıkıştıran matematiksel bir fonksiyondur. Görsel olarak, Sigmoid fonksiyonuna benzer "S" şeklinde bir eğri üretir. Temel özelliği, çıktısının sıfır merkezli olmasıdır, yani negatif girişler negatif çıktılara ve pozitif girişler pozitif çıktılara eşlenir. Bu özellik, model eğitimi sürecinde gradient descent gibi optimizasyon algoritmalarının yakınsamasını hızlandırmaya yardımcı olabilir.

Tanh Nasıl Çalışır

Derin öğrenme modelinde, bir aktivasyon fonksiyonu, ağırlıklı bir toplamı hesaplayarak ve ayrıca bununla birlikte önyargı ekleyerek bir nöronun etkinleştirilip etkinleştirilmeyeceğine karar verir. Tanh fonksiyonu, herhangi bir gerçek değerli sayıyı alır ve [-1, 1] aralığına eşler. Büyük pozitif değerler 1'e yakın, büyük negatif değerler -1'e yakın ve sıfıra yakın değerler sıfır civarındaki değerlere eşlenir. Bu sıfır merkezli yapı önemli bir avantajdır, çünkü katmanların çıktılarının bir yönde çok fazla kaymasını önlemeye yardımcı olur ve bu da eğitimi daha kararlı hale getirebilir. Derinlemesine teknik bir açıklama için, Stanford gibi kurumlardan gelen kaynaklar, aktivasyon fonksiyonları hakkında ayrıntılı ders notları sunmaktadır.

Diğer Aktivasyon Fonksiyonları ile Karşılaştırma

Tanh, genellikle her birinin kendi güçlü ve zayıf yönleri olan diğer aktivasyon fonksiyonlarıyla karşılaştırılır:

• Tanh - Sigmoid Karşılaştırması: Her iki fonksiyon da benzer bir S şekline sahiptir. Ancak, Sigmoid fonksiyonu aralıkta değerler verirken, Tanh [-1, 1] aralığında değerler verir. Tanh'ın çıktısı sıfır merkezli olduğundan, ağın gizli katmanlarında Sigmoid'e göre daha hızlı yakınsamaya yol açtığı için genellikle tercih edilir.
• Tanh - ReLU Karşılaştırması: ReLU ve Sızıntılı ReLU ve SiLU gibi varyantları, birçok modern bilgisayarla görü mimarisinde varsayılan seçenek haline gelmiştir. Tanh'ın aksine, ReLU hesaplama açısından maliyetli değildir ve kaybolan gradyan problemi sorununu hafifletmeye yardımcı olur; bu sorun, geri yayılım sırasında gradyanların son derece küçülmesidir. Ancak, Tanh, sınırlı bir çıktının gerekli olduğu belirli bağlamlarda hala değerlidir. Ultralytics YOLO11 gibi modellerde modern aktivasyon fonksiyonlarının kullanımını görebilirsiniz.

Yapay Zeka ve Makine Öğrenmesinde Uygulamalar

Tanh, tarihsel olarak özellikle şu alanlarda popüler bir seçim olmuştur:

• Yinelemeli Sinir Ağları (RNN'ler) (Recurrent Neural Networks): Tanh, özellikle Doğal Dil İşleme (NLP)'deki görevler için RNN'lerin ve Uzun Kısa Süreli Bellek (LSTM) ağları gibi varyantların gizli durumlarında yaygın olarak kullanılmıştır. Sınırlandırılmış aralığı, yinelemeli bağlantılar içindeki bilgi akışını düzenlemeye yardımcı olur. Daha fazla ayrıntı için LSTM'leri Anlamak bölümüne bakın.
• Duygu Analizi (Sentiment Analysis): Daha eski NLP modellerinde, Tanh, metinden çıkarılan özellikleri (örneğin, bir RNN tarafından işlenen kelime gömme) negatif (-1) ile pozitif (+1) arasında duygu polaritesini temsil eden sürekli bir aralığa eşlemeye yardımcı oldu. Kaggle gibi platformlarda duygu analizi için ilgili veri kümelerini bulabilirsiniz.
• Kontrol Sistemleri ve Robotik: Pekiştirmeli Öğrenmede (RL), Tanh bazen belirli bir aralıkta sınırlandırılmış sürekli eylemler üreten politikalar için son aktivasyon fonksiyonu olarak kullanılır (örneğin, motor torkunu -1 ile +1 arasında kontrol etmek). Gymnasium (eski adıyla OpenAI Gym) gibi çerçeveler genellikle RL araştırmalarında kullanılır.
• Gizli Katmanlar: İleri beslemeli ağların gizli katmanlarında kullanılabilir, ancak ReLU varyantları artık daha yaygındır. Sıfır merkezli özelliğin belirli bir sorun veya mimari için özellikle faydalı olduğu durumlarda tercih edilebilir. Model karşılaştırma sayfalarımızda farklı mimarilerin performansını keşfedebilirsiniz.

Ultralytics YOLO gibi modern mimariler genellikle nesne algılama gibi görevler için SiLU gibi fonksiyonları kullanırken, Tanh'ı anlamak değerli olmaya devam etmektedir. Aktivasyon fonksiyonlarının evrimi için bir bağlam sağlar ve belirli ağ tasarımlarında veya eski sistemlerde hala görünebilir. PyTorch ve TensorFlow gibi çerçeveler, Tanh'ın standart uygulamalarını sağlar. Ultralytics HUB gibi platformları kullanarak farklı aktivasyon fonksiyonlarını eğitebilir ve deneyebilirsiniz. Papers with Code web sitesi ayrıca Tanh'ı kullanan araştırmaları da listeler.