Tanh (쌍곡 탄젠트)

Tanh(쌍곡 탄젠트)는 신경망에서 널리 사용되는 활성화 함수입니다. 입력 값을 -1과 1 사이의 범위로 압축하는 수학 함수입니다. 시각적으로 시그모이드 함수와 유사한 "S"자 모양의 곡선을 생성합니다. 주요 특징은 출력이 0을 중심으로 한다는 것입니다. 즉, 음수 입력은 음수 출력에 매핑되고 양수 입력은 양수 출력에 매핑됩니다. 이 속성은 모델 훈련 과정에서 경사 하강법과 같은 최적화 알고리즘의 수렴 속도를 높이는 데 도움이 될 수 있습니다.

Tanh 작동 방식

딥 러닝 모델에서 활성화 함수는 가중 합계를 계산하고 바이어스를 추가하여 뉴런을 활성화할지 여부를 결정합니다. Tanh 함수는 임의의 실수 값을 가져와서 [-1, 1] 범위에 매핑합니다. 큰 양수 값은 1에 가깝게 매핑되고, 큰 음수 값은 -1에 가깝게 매핑되며, 0에 가까운 값은 0 주변의 값에 매핑됩니다. 이 0 중심 특성은 레이어의 출력이 한 방향으로 너무 멀리 이동하는 것을 방지하여 학습을 더 안정적으로 만드는 데 도움이 되므로 중요한 이점입니다. 자세한 기술적 설명은 Stanford와 같은 기관의 리소스에서 활성화 함수에 대한 자세한 강의 노트를 제공합니다.

다른 활성화 함수와의 비교

Tanh는 종종 다른 활성화 함수와 비교되며, 각 활성화 함수에는 고유한 강점과 약점이 있습니다.

• Tanh vs. Sigmoid: 두 함수 모두 유사한 S자 모양을 가지고 있습니다. 그러나 Sigmoid 함수는 범위의 값을 출력하는 반면 Tanh는 [-1, 1] 범위의 값을 출력합니다. Tanh의 출력은 0을 중심으로 하기 때문에 네트워크의 숨겨진 레이어에서 Sigmoid보다 선호되는 경우가 많으며, 이는 더 빠른 수렴으로 이어지는 경향이 있습니다.
• Tanh vs. ReLU: ReLU와 그 변형인 Leaky ReLU 및 SiLU는 많은 최신 컴퓨터 비전 아키텍처에서 기본 선택이 되었습니다. Tanh와 달리 ReLU는 계산 비용이 많이 들지 않으며 역전파 중에 기울기가 매우 작아지는 기울기 소실 문제를 완화하는 데 도움이 됩니다. 그러나 Tanh는 제한된 출력이 필요한 특정 컨텍스트에서 여전히 유용합니다. Ultralytics YOLO11과 같은 모델에서 최신 활성화 함수의 사용법을 확인할 수 있습니다.

AI 및 머신 러닝의 응용 분야

Tanh는 역사적으로 특히 다음과 같은 분야에서 인기 있는 선택이었습니다.

• 순환 신경망(RNN): Tanh는 RNN의 숨겨진 상태와 LSTM(Long Short-Term Memory) 네트워크와 같은 변형에서 일반적으로 사용되었으며, 특히 자연어 처리(NLP) 작업에 사용되었습니다. 제한된 범위는 순환 연결 내에서 정보 흐름을 조절하는 데 도움이 됩니다. 자세한 내용은 LSTM 이해를 참조하십시오.
• 감성 분석: 이전 NLP 모델에서 Tanh는 텍스트에서 추출한 특징(예: RNN으로 처리된 단어 임베딩)을 음수(-1)에서 양수(+1)까지의 감성 극성을 나타내는 연속적인 범위로 매핑하는 데 도움을 주었습니다. Kaggle과 같은 플랫폼에서 감성 분석에 관련된 데이터 세트를 찾을 수 있습니다.
• 제어 시스템 및 로봇 공학: 강화 학습(RL)에서 Tanh는 특정 범위 내에서 제한된 연속적인 동작을 출력하는 정책에 대한 최종 활성화 함수로 사용되는 경우가 있습니다(예: -1과 +1 사이의 모터 토크 제어). Gymnasium(이전의 OpenAI Gym)과 같은 프레임워크는 RL 연구에서 자주 사용됩니다.
• Hidden Layers: ReLU 변형이 현재 더 일반적이지만, 피드포워드 네트워크의 은닉층에서 사용할 수 있습니다. 제로 중심 속성이 특정 문제 또는 아키텍처에 특히 유익한 경우에 선택될 수 있습니다. 모델 비교 페이지에서 다양한 아키텍처의 성능을 살펴볼 수 있습니다.

Ultralytics YOLO와 같은 최신 아키텍처는 종종 객체 감지와 같은 작업에 SiLU와 같은 기능을 활용하지만, Tanh를 이해하는 것은 여전히 가치가 있습니다. 활성화 함수의 진화에 대한 컨텍스트를 제공하고 특정 네트워크 설계 또는 레거시 시스템에 여전히 나타날 수 있습니다. PyTorch 및 TensorFlow와 같은 프레임워크는 Tanh의 표준 구현을 제공합니다. Ultralytics HUB와 같은 플랫폼을 사용하여 다양한 활성화 함수를 학습하고 실험할 수 있습니다. Papers with Code 웹사이트에는 Tanh를 활용하는 연구도 나와 있습니다.