Adam Optimizer

Adam 옵티마이저는 Adaptive Moment Estimation의 약자로, 딥러닝 모델 학습에 널리 사용되는 정교한 최적화 알고리즘입니다. 이 옵티마이저는 널리 사용되는 확률적 경사 하강법 (SGD)의 두 가지 확장 기법인 Adaptive Gradient Algorithm (AdaGrad)과 Root Mean Square Propagation (RMSProp)의 장점을 결합하여 이 분야에 혁신을 가져왔습니다. Adam은 그래디언트의 1차 및 2차 모멘트 추정값으로부터 서로 다른 파라미터에 대한 개별 적응형 학습률을 계산하여 신경망이 기존 방법보다 훨씬 빠르게 수렴하도록 합니다. 견고성과 최소한의 튜닝 요구 사항 덕분에 새로운 머신 러닝 (ML) 프로젝트를 시작하는 많은 실무자가 기본 선택으로 사용합니다.

Adam의 작동 방식#

모델 학습의 핵심은 모델의 예측값과 실제 데이터 간의 차이를 측정하는 손실 함수를 최소화하는 것입니다. 표준 알고리즘은 일반적으로 일정한 스텝 크기(학습률)를 사용하여 "손실 지형"을 따라 최소 오류 지점까지 내려갑니다. 그러나 이 지형은 골짜기와 평탄한 영역을 포함하는 경우가 많아 단순한 알고리즘이 그 안에 갇힐 수 있습니다.

Adam은 각 파라미터에 대해 두 개의 과거 버퍼를 유지하여 이 문제를 해결합니다.

1. 모멘텀(1차 모멘트): 언덕을 굴러 내려가는 무거운 공과 유사하게, 과거 그래디언트의 이동 평균을 추적하여 관련 방향의 속도를 유지합니다.

2. 분산(2차 모멘트): 제곱된 그래디언트의 이동 평균을 추적하며, 이를 통해 학습률을 조정합니다.

이러한 조합을 통해 옵티마이저는 지형의 평탄한 영역에서는 더 큰 스텝을 취하고, 가파르거나 노이즈가 많은 영역에서는 더 작고 신중한 스텝을 취할 수 있습니다. 구체적인 작동 원리는 Kingma와 Ba의 Adam 연구 논문에 자세히 설명되어 있으며, 이 논문은 다양한 딥러닝 (DL) 작업에서 Adam의 실증적 우수성을 입증했습니다.

실제 적용 사례#

Adam 옵티마이저의 뛰어난 범용성 덕분에 인공지능 (AI)의 거의 모든 분야에서 채택되었습니다.

• 자연어 처리 (NLP): 생성형 사전 학습 트랜스포머 (GPT)와 같은 대규모 언어 모델은 학습에 Adam(또는 그 변형인 AdamW)을 많이 사용합니다. 이 알고리즘은 방대한 어휘와 대규모 데이터 세트에서 발생하는 희소 그래디언트를 효율적으로 처리하여 강력한 챗봇과 번역 시스템을 구축할 수 있도록 합니다.
• 헬스케어 분야의 컴퓨터 비전: 의료 이미지 분석에서 모델은 MRI 스캔의 종양과 같은 미세한 이상을 감지해야 합니다. Adam은 합성곱 신경망 (CNN)이 높은 정확도의 솔루션으로 빠르게 수렴하도록 지원하며, 이는 헬스케어 분야의 AI를 위한 진단 도구 개발에 매우 중요합니다.

Adam과 SGD 비교#

Adam은 일반적으로 더 빠르게 수렴하지만, **확률적 경사 하강법 (SGD)**과 구분하는 것이 중요합니다. SGD는 고정된 학습률을 사용하여 모델 가중치를 업데이트하며, 최첨단 객체 감지 모델의 학습 후반부에서 자주 선호됩니다. 테스트 데이터에서 더 나은 일반화 성능(최종 정확도)을 달성하는 경우가 있기 때문입니다.

그러나 Adam은 "적응형"이므로 학습률 조정을 자동으로 처리합니다. 따라서 초기 실험과 SGD 튜닝이 어려운 복잡한 아키텍처에 훨씬 더 사용하기 쉽습니다. Ultralytics Platform에서 실험을 관리하는 사용자의 경우, 성능을 비교하기 위해 이러한 옵티마이저 간에 전환하는 것이 하이퍼파라미터 튜닝의 핵심 단계인 경우가 많습니다.

Ultralytics를 활용한 구현#

PyTorch와 같은 최신 프레임워크 및 Ultralytics 라이브러리를 사용하면 Adam을 간편하게 활용할 수 있습니다. AdamW(가중치 감쇠를 적용한 Adam)라는 인기 있는 변형은 원래 Adam 알고리즘의 정규화 문제를 해결하므로 자주 권장됩니다. 이는 YOLO26과 같은 최신 아키텍처에 특히 효과적이며, 이러한 아키텍처는 AdamW가 제공하는 안정성의 이점을 얻습니다.

다음 예제에서는 AdamW 옵티마이저를 사용하여 Ultralytics YOLO26 모델을 학습하는 방법을 보여줍니다.

from ultralytics import YOLO

# Load the cutting-edge YOLO26n model
model = YOLO("yolo26n.pt")

# Train the model using the 'AdamW' optimizer
# The 'optimizer' argument allows easy switching between SGD, Adam, AdamW, etc.
results = model.train(data="coco8.yaml", epochs=5, optimizer="AdamW")

더 깊은 이론적 기반에 관심이 있는 개발자에게는 Stanford CS231n 최적화 노트와 같은 자료가 Adam을 RMSProp 및 AdaGrad와 같은 다른 알고리즘과 비교하는 방법을 시각적으로 잘 보여줍니다. 또한 PyTorch 옵티마이저 문서에서는 사용자 지정에 사용할 수 있는 인수와 구현 세부 정보에 대한 기술적 내용을 제공합니다.