Tanh (쌍곡 탄젠트)

탄(쌍곡선 탄젠트)은 널리 사용되는 활성화 함수입니다. 딥러닝 분야에서 널리 사용되는 활성화 함수입니다. 신경망에 비선형성을 도입하는 데 사용됩니다. 수학적으로 탄은 입력 값을 -1에서 1 사이의 특정 범위로 압축합니다. 이 "S"자 모양의 곡선은 시그모이드 함수와 비슷하지만, 0을 중심으로 하는 출력으로 인해 영점 중심의 출력. 음수 입력은 강한 음수 출력에, 양수 입력은 강한 양의 출력에 매핑하여 출력에 매핑함으로써 탄은 단순한 선형 회귀보다 복잡한 패턴을 더 효과적으로 모델링할 수 있도록 도와줍니다. 선형 회귀보다 복잡한 패턴을 더 효과적으로 모델링하는 데 도움을 줍니다. 인공지능의 역사에서 인공 지능.

Tanh 작동 방식

탄의 주요 역할은 가중치 입력에 따라 뉴런의 출력을 결정하는 것입니다. 탄은 모든 실수값 입력을 [-1, 1]의 한정된 범위로 변환합니다. 이 속성을 "제로 센터링"이라고 하는데, 이는 출력 값의 평균이 0과 1 사이의 값을 출력하는 시그모이드와 같은 함수에 비해 출력 값의 평균이 0에 가깝다는 것을 의미합니다. 1.

영점 중심의 데이터는 다음과 같은 최적화 알고리즘의 효율성을 위해 확률적 경사 하강(SGD). 역전파 중에 영점 중심 활성화는 을 사용하면 그라데이션이 양수 또는 음수 방향으로 더 자유롭게 움직일 수 있으므로 가중치 업데이트에서 "지그재그" 동작을 방지하여 모델 학습 속도를 늦출 수 있습니다. 이러한 역학 관계에 대해 더 자세히 알아보세요, 스탠포드 대학교의 CS231n 노트는 훌륭한 기술 개요를 제공합니다.

Tanh 함수는 최신 프레임워크에서 쉽게 사용할 수 있습니다. 다음은 다음을 사용하여 실행 가능한 예제입니다. PyTorch 를 사용하여 입력이 어떻게 범위로 매핑하는 방법을 보여줍니다.

import torch
import torch.nn as nn

# Initialize the Tanh activation function
tanh = nn.Tanh()

# Create a sample tensor with negative, zero, and positive values
input_data = torch.tensor([-2.0, -0.5, 0.0, 0.5, 2.0])

# Apply Tanh: Values are squashed between -1 and 1
output = tanh(input_data)
print(f"Output: {output}")
# Output: tensor([-0.9640, -0.4621,  0.0000,  0.4621,  0.9640])

관련 활성화 기능과의 비교

탄을 언제 사용해야 하는지 이해하려면 용어집에 있는 다른 일반적인 활성화 기능과 구별해야 합니다. 용어집을 참고하세요.

• 탄 대 시그모이드: 둘 다 비슷한 S 모양이지만, 시그모이드는 출력을 [0, 1]로 제한합니다. 탄의 범위는 [-1, 1]이고 기울기가 더 가파르므로 숨겨진 레이어에 0 중심이 아닌 데이터로 인한 바이어스 시프트 문제를 완화하기 때문에 숨겨진 레이어에 더 적합합니다.
• Tanh 대 ReLU: 동안 Tanh은 강력하지만, 그라데이션이 사라지는 소실 그라디언트 문제, 즉 매우 크거나 큰 입력값에 대해 그라디언트 가 매우 크거나 매우 작을 경우 거의 0이 되어 딥 네트워크에서 학습이 효과적으로 중단되는 소실 경사 문제가 있습니다. ReLU는 양의 입력에 대해 기울기를 를 일정하게 유지함으로써 이를 방지합니다. 다음과 같은 최신 아키텍처는 YOLO11 와 같은 최신 아키텍처는 일반적으로 계산 효율성을 위해 ReLU 또는 계산 효율성과 심층 모델 학습 능력 및 심층적인 모델 학습 능력 때문에 일반적으로 ReLU 또는 SiLU를 선호합니다.

AI 및 머신러닝 분야에서의 응용

ReLU의 부상에도 불구하고 탄은 특정 아키텍처와 작업에 여전히 필수적입니다.

순환 신경망(RNN) 및 NLP

Tanh은 역사적으로 다음과 같은 표준 활성화 함수였습니다. 순환 신경망(RNN) 및 장단기 기억(LSTM) 네트워크의 표준 활성화 함수였습니다. In 자연어 처리(NLP) 기계 번역이나 텍스트 생성 등의 자연어 처리(NLP) 작업에서 Tanh은 네트워크의 메모리 셀을 통해 정보의 흐름을 조절하여 시간이 지남에 따라 값이 폭발적으로 증가하지 않도록 값이 폭발하지 않도록 합니다.

생성적 적대적 네트워크(GAN)

In 생성적 적대 신경망(GAN)에서 Tanh는 생성기 모델의 최종 레이어에서 자주 사용됩니다. 탄은 생성된 이미지의 출력 픽셀 값을 이미지의 출력 픽셀 값을 [-1, 1]의 정규화된 범위로 확장하여 판별자에 대한 판별자. 이 아키텍처는 다음과 같은 중요한 논문에서 확인할 수 있습니다. DCGAN 논문에서 확인할 수 있습니다.

감성 분석

간단한 감정 분석 모델의 경우, 탄은 다음을 수행할 수 있습니다. 는 감정 점수를 연속체에 직접 매핑하는 출력 활성화 역할을 할 수 있으며, 여기서 -1은 매우 부정적인 감정을 나타내고 감성을 나타내고, 0은 중립, +1은 매우 긍정적입니다. 이러한 직관적인 매핑을 통해 다음과 같은 데이터 세트에 대한 모델 예측을 더 쉽게 해석할 수 있습니다.

최첨단 컴퓨터 비전 모델 같은 YOLO11 와 같은 최첨단 컴퓨터 비전 모델이 기능 추출을 위한 무한 함수로 이동하고 있지만, 탄은 딥러닝 엔지니어의 툴킷에서 여전히 중요한 도구로 남아 있습니다. 작업에 특히 중요한 도구로 남아 있습니다.