Tanh (Hiperbolik Tanjant)

Tanh (Hiperbolik Tanjant) sinir ağlarında yaygın olarak kullanılan bir aktivasyon fonksiyonudur. Giriş değerlerini -1 ile 1 arasında bir aralığa sıkıştıran matematiksel bir fonksiyondur. Görsel olarak Sigmoid fonksiyonuna benzer şekilde "S" şeklinde bir eğri üretir. Temel özelliği çıktısının sıfır merkezli olmasıdır, yani negatif girdiler negatif çıktılara ve pozitif girdiler pozitif çıktılara eşlenir. Bu özellik, model eğitim süreci sırasında gradyan inişi gibi optimizasyon algoritmalarının yakınsamasını hızlandırmaya yardımcı olabilir.

Tanh Nasıl Çalışır?

Bir derin öğrenme modelinde, bir aktivasyon fonksiyonu, ağırlıklı bir toplam hesaplayarak ve buna önyargı ekleyerek bir nöronun etkinleştirilip etkinleştirilmeyeceğine karar verir. Tanh fonksiyonu herhangi bir gerçek değerli sayıyı alır ve onu [-1, 1] aralığına eşler. Büyük pozitif değerler 1'e yakın, büyük negatif değerler -1'e yakın ve sıfıra yakın değerler sıfır civarındaki değerlerle eşleştirilir. Bu sıfır merkezli doğa, katmanların çıktılarının bir yönde çok fazla kaymasını önlemeye yardımcı olduğu için önemli bir avantajdır, bu da eğitimi daha istikrarlı hale getirebilir. Derinlemesine teknik açıklama için Stanford gibi kurumların kaynakları aktivasyon fonksiyonları hakkında ayrıntılı ders notları sunmaktadır.

Diğer Aktivasyon Fonksiyonları ile Karşılaştırma

Tanh genellikle her biri kendi güçlü ve zayıf yönlerine sahip diğer aktivasyon fonksiyonlarıyla karşılaştırılır:

• Tanh vs. Sigmoid: Her iki fonksiyon da benzer bir S şekline sahiptir. Ancak Sigmoid fonksiyonu aralıktaki değerleri çıkarırken Tanh [-1, 1] aralığındaki değerleri çıkarır. Tanh'ın çıktısı sıfır merkezli olduğundan, daha hızlı yakınsamaya yol açma eğiliminde olduğundan, genellikle bir ağın gizli katmanlarında Sigmoid'e tercih edilir.
• Tanh vs. ReLU: ReLU ve Leaky ReLU ve SiLU gibi varyantları, birçok modern bilgisayarla görme mimarisinde varsayılan seçim haline gelmiştir. Tanh'ın aksine, ReLU hesaplama açısından pahalı değildir ve geriye yayılma sırasında gradyanların aşırı derecede küçüldüğü kaybolan gradyan sorununu hafifletmeye yardımcı olur. Bununla birlikte, Tanh, sınırlı bir çıktının gerekli olduğu belirli bağlamlarda hala değerlidir. Ultralytics YOLO11 gibi modellerde modern aktivasyon fonksiyonlarının kullanımını görebilirsiniz.

Yapay Zeka ve Makine Öğrenimi Uygulamaları

Tanh tarihsel olarak, özellikle de bu alanda popüler bir seçim olmuştur:

• Tekrarlayan Sinir Ağları (RNN'ler): Tanh, özellikle Doğal Dil İşleme (NLP) görevleri için RNN'lerin ve Uzun Kısa Süreli Bellek (LSTM) ağları gibi varyantların gizli durumlarında yaygın olarak kullanılmıştır. Sınırlandırılmış aralığı, tekrarlayan bağlantılar içindeki bilgi akışını düzenlemeye yardımcı olur. Daha fazla ayrıntı için LSTM'leri Anlamak bölümüne bakınız.
• Duygu Analizi: Eski NLP modellerinde Tanh, metinden çıkarılan özelliklerin (örneğin, bir RNN tarafından işlenen kelime katıştırmaları) negatiften (-1) pozitife (+1) kadar duygu polaritesini temsil eden sürekli bir aralığa eşlenmesine yardımcı oldu. Duygu analizi için ilgili veri kümelerini Kaggle gibi platformlarda bulabilirsiniz.
• Kontrol Sistemleri ve Robotik: Takviyeli Öğrenmede (RL), Tanh bazen belirli bir aralıkta sınırlandırılmış sürekli eylemler çıkaran politikalar için son aktivasyon fonksiyonu olarak kullanılır (örneğin, -1 ile +1 arasında motor torkunu kontrol etmek). Gymnasium (eski adıyla OpenAI Gym) gibi çerçeveler RL araştırmalarında sıklıkla kullanılmaktadır.
• Gizli Katmanlar: ReLU varyantları artık daha yaygın olmasına rağmen, ileri beslemeli ağların gizli katmanlarında kullanılabilir. Sıfır merkezli özelliğin belirli bir problem veya mimari için özellikle faydalı olduğu durumlarda seçilebilir. Model karşılaştırma sayfalarımızda farklı mimarilerin performansını keşfedebilirsiniz.

Ultralytics YOLO gibi modern mimariler, nesne algılama gibi görevler için genellikle SiLU gibi işlevleri kullansa da Tanh'ı anlamak hala değerlidir. Aktivasyon fonksiyonlarının evrimi için bağlam sağlar ve belirli ağ tasarımlarında veya eski sistemlerde hala görünebilir. PyTorch ve TensorFlow gibi çerçeveler Tanh'ın standart uygulamalarını sağlar. Ultralytics HUB gibi platformları kullanarak farklı aktivasyon fonksiyonlarını eğitebilir ve deneyebilirsiniz. Papers with Code web sitesi de Tanh kullanan araştırmaları listelemektedir.