Tanh (Hyperbolic Tangent)

Tanh(쌍곡선 정수, Hyperbolic Tangent) 함수는 인공 신경망의 은닉층에서 널리 사용되는 수학적 활성화 함수입니다. 입력값을 -1과 1 사이의 출력 범위로 변환하여 시그모이드 함수와 유사하지만 0을 중심으로 하는 S자형 곡선을 생성합니다. 이 0 중심 속성은 신경망을 통과하는 데이터의 평균이 0에 더 가깝도록 뉴런의 출력을 정규화하여 모델이 더 효율적으로 학습할 수 있도록 해주므로 매우 중요합니다. Tanh는 음수 값을 명시적으로 처리함으로써 신경망이 데이터 내의 더 복잡한 패턴과 관계를 포착할 수 있도록 돕습니다.

딥러닝에서 Tanh의 메커니즘#

딥러닝 모델의 아키텍처에서 활성화 함수는 비선형성을 도입하여 네트워크가 서로 다른 데이터 클래스 간의 복잡한 경계를 학습할 수 있도록 합니다. Tanh와 같은 함수가 없다면 신경망은 레이어 수와 관계없이 단순한 선형 회귀 모델처럼 동작할 것입니다. Tanh 함수는 순환 신경망(RNN) 및 균형 잡힌 0 중심의 활성화 분포를 유지하는 것이 역전파 과정에서 기울기 소실 문제를 방지하는 데 도움이 되는 특정 유형의 피드포워드 네트워크에서 특히 효과적입니다.

입력값이 -1에서 1 사이의 범위로 매핑될 때, 강한 음수 입력은 음수 출력을 생성하고 강한 양수 입력은 양수 출력을 생성합니다. 이는 값을 0과 1 사이로 압축하는 Sigmoid 함수와 다릅니다. Tanh 출력은 0을 기준으로 대칭이므로 후속 레이어의 가중치가 한 방향으로 일관되게 이동하지 않아 (최적화에서 "지그재그" 경로로 알려진 현상) 경사 하강법 과정이 더 빠르게 수렴하는 경우가 많습니다.

실제 애플리케이션 사례#

Tanh는 시퀀스 처리 및 연속 값 추정이 필요한 특정 아키텍처와 사용 사례에서 계속해서 중요한 역할을 수행하고 있습니다.

• 자연어 처리 (NLP): 장단기 메모리(LSTM) 네트워크 및 게이트 순환 유닛(GRU)과 같은 아키텍처에서 Tanh는 정보 흐름을 조절하는 주요 활성화 기능으로 사용됩니다. 예를 들어 모델이 영어를 프랑스어로 번역하는 기계 번역 작업에서 Tanh는 LSTM의 내부 게이트가 이전 컨텍스트(메모리)의 얼마만큼을 유지하거나 잊어버릴지 결정하는 데 도움을 줍니다. 이를 통해 모델은 문장 구조의 장기 의존성을 처리할 수 있습니다.
• 생성형 적대 신경망 (GAN): 많은 생성형 적대 신경망의 생성기 구성 요소에서 Tanh는 출력층의 최종 활성화 함수로 자주 사용됩니다. 이미지는 전처리 중에 -1에서 1 사이의 범위로 정규화되는 경우가 많으므로 Tanh를 사용하면 생성기가 동일한 유효 범위 내에서 픽셀 값을 생성할 수 있습니다. 이 기술은 텍스트 기반 이미지 생성과 같은 애플리케이션을 위해 사실적인 이미지를 합성하는 데 도움이 됩니다.

비교: Tanh vs. Sigmoid vs. ReLU#

언제 Tanh를 사용해야 할지 이해하기 위해 다른 일반적인 함수들과 구분하는 것이 도움이 됩니다.

• Tanh 대 Sigmoid: 둘 다 S자형 곡선입니다. 그러나 Sigmoid는 0에서 1 사이의 값을 출력하므로 Tanh보다 기울기가 더 빠르게 소실될 수 있습니다. Sigmoid는 일반적으로 이진 분류 문제(확률 예측)의 최종 출력층을 위해 예약되는 반면, Tanh는 RNN의 은닉층에 선호됩니다.
• Tanh 대 ReLU (Rectified Linear Unit): YOLO26과 같은 최신 합성곱 신경망(CNN)에서는 은닉층의 경우 Tanh보다 ReLU 및 그 변형(예: SiLU)이 일반적으로 선호됩니다. 이는 ReLU가 매우 깊은 네트워크에 대해 기울기 소실 문제를 보다 효과적으로 방지하고 계산 비용이 더 저렴하기 때문입니다. Tanh는 관련된 지수 계산으로 인해 계산 비용이 더 많이 듭니다.

PyTorch에서 활성화 함수 구현하기#

Ultralytics YOLO26과 같은 고수준 모델은 설정 파일 내에서 활성화 함수 정의를 자체적으로 처리하지만, 커스텀 모델 구축 시 PyTorch를 사용하여 Tanh를 적용하는 방법을 이해하는 것은 유용합니다.

import torch
import torch.nn as nn

# Define a sample input tensor with positive and negative values
input_data = torch.tensor([-2.0, -0.5, 0.0, 0.5, 2.0])

# Initialize the Tanh activation function
tanh = nn.Tanh()

# Apply Tanh to the input data
output = tanh(input_data)

# Print results to see values squashed between -1 and 1
print(f"Input: {input_data}")
print(f"Output: {output}")

커스텀 아키텍처 학습 또는 데이터셋 효과적 관리에 관심이 있는 사용자를 위해 Ultralytics Platform은 다양한 모델 하이퍼파라미터 실험, 학습 지표 시각화, 신경망의 모든 레이어를 수동으로 코딩할 필요 없이 솔루션을 배포할 수 있는 간소화된 환경을 제공합니다.