탄(쌍곡선 탄젠트)

탄(쌍곡탄젠트)은 신경망에서 널리 사용되는 활성화 함수입니다. 입력 값을 -1에서 1 사이의 범위로 압축하는 수학 함수입니다. 시각적으로는 시그모이드 함수와 유사한 "S"자 모양의 곡선을 생성합니다. 이 함수의 주요 특징은 출력이 영점 중심이라는 점으로, 음수 입력은 음수 출력에 매핑되고 양수 입력은 양수 출력에 매핑된다는 것을 의미합니다. 이 속성은 모델 훈련 과정에서 경사 하강과 같은 최적화 알고리즘의 수렴 속도를 높이는 데 도움이 될 수 있습니다.

탄의 작동 방식

딥러닝 모델에서 활성화 함수는 가중 합계를 계산하고 여기에 편향을 추가하여 뉴런을 활성화할지 여부를 결정합니다. 탄 함수는 실수 값을 취하여 [-1, 1] 범위에 매핑합니다. 큰 양수 값은 1에 가깝게 매핑되고, 큰 음수 값은 -1에 가깝게 매핑되며, 0에 가까운 값은 0 주변의 값에 매핑됩니다. 이러한 제로 중심의 특성은 레이어의 출력이 한 방향으로 너무 많이 이동하는 것을 방지하여 학습을 더 안정적으로 만들 수 있다는 점에서 중요한 이점입니다. 자세한 기술 설명은 스탠포드 같은 기관에서 제공하는 자료에서 활성화 함수에 대한 자세한 강좌 노트를 참조하세요.

다른 활성화 기능과의 비교

탄은 종종 다른 활성화 기능과 비교되는데, 각각 고유한 장단점이 있습니다:

• 탄 대 시그모이드: 두 함수는 비슷한 S자 모양을 가지고 있습니다. 하지만 시그모이드 함수는 범위 내 값을 출력하는 반면, 탄 함수는 [-1, 1]의 값을 출력합니다. 탄의 출력은 영 중심이기 때문에 네트워크의 숨겨진 레이어에서 더 빠른 수렴을 유도하는 경향이 있기 때문에 종종 시그모이드보다 선호됩니다.
• Tanh 대 ReLU: ReLU와 그 변형인 Leaky ReLU 및 SiLU는 많은 최신 컴퓨터 비전 아키텍처에서 기본 선택이 되었습니다. Tanh와 달리 ReLU는 계산 비용이 많이 들지 않으며 역전파 중에 그라데이션이 극도로 작아지는 소실 그라데이션 문제를 완화하는 데 도움이 됩니다. 하지만 탄(Tanh)은 제한된 출력이 필요한 특정 상황에서 여전히 유용합니다. 최신 활성화 함수의 사용은 Ultralytics YOLO11과 같은 모델에서 확인할 수 있습니다.

AI 및 머신 러닝 분야의 애플리케이션

탄은 역사적으로 특히 다음과 같은 분야에서 인기가 있었습니다:

• 순환 신경망(RNN): 탄은 RNN의 숨겨진 상태와 LSTM(장단기 메모리) 네트워크와 같은 변형, 특히 자연어 처리(NLP) 작업에 일반적으로 사용되었습니다. 경계 범위는 반복 연결 내의 정보 흐름을 조절하는 데 도움이 됩니다. 자세한 내용은 LSTM의 이해를 참조하세요.
• 감정 분석: 이전 NLP 모델에서 Tanh은 텍스트에서 추출한 특징(예: RNN으로 처리된 단어 임베딩)을 부정(-1)에서 긍정(+1)의 감정 극성을 나타내는 연속 범위로 매핑하는 작업을 도왔습니다. 감정 분석을 위한 관련 데이터 세트는 Kaggle과 같은 플랫폼에서 찾을 수 있습니다.
• 제어 시스템 및 로봇 공학: 강화 학습(RL)에서 탄은 특정 범위 내에 한정된 연속 동작을 출력하는 정책(예: -1에서 +1 사이의 모터 토크 제어)의 최종 활성화 함수로 사용되기도 합니다. 체육관 (이전의 OpenAI 체육관)과 같은 프레임워크가 RL 연구에 자주 사용됩니다.
• 히든 레이어: 피드포워드 네트워크의 숨겨진 레이어에서 사용할 수 있지만, 현재는 ReLU 변형이 더 일반적입니다. 영점 중심 속성이 특정 문제나 아키텍처에 특히 유리할 때 선택할 수 있습니다. 모델 비교 페이지에서 다양한 아키텍처의 성능을 살펴볼 수 있습니다.

Ultralytics YOLO와 같은 최신 아키텍처에서는 객체 감지와 같은 작업에 SiLU와 같은 기능을 활용하는 경우가 많지만, 탄에 대한 이해는 여전히 중요합니다. 이는 활성화 함수의 진화에 대한 컨텍스트를 제공하며 특정 네트워크 설계나 레거시 시스템에서 여전히 나타날 수 있습니다. PyTorch나 TensorFlow와 같은 프레임워크는 Tanh의 표준 구현을 제공합니다. Ultralytics HUB와 같은 플랫폼을 사용하여 다양한 활성화 함수를 훈련하고 실험할 수 있습니다. 코드가 포함된 논문 웹사이트에는 Tanh를 활용한 연구 목록도 나와 있습니다.