Adam Optimizer

Adaptive Moment Estimation의 약자인 Adam optimizer는 딥러닝 모델 학습에 널리 사용되는 정교한 optimization algorithm입니다. 이 알고리즘은 stochastic gradient descent (SGD)의 다른 두 가지 인기 있는 확장인 Adaptive Gradient Algorithm(AdaGrad)과 Root Mean Square Propagation(RMSProp)의 장점을 결합하여 이 분야에 혁신을 가져왔습니다. 기울기의 1차 및 2차 모멘트 추정값으로부터 서로 다른 파라미터에 대한 개별 적응형 learning rates를 계산함으로써, Adam은 neural networks가 기존 방식보다 훨씬 빠르게 수렴할 수 있도록 합니다. 그 견고함과 최소한의 튜닝 요구 사항 덕분에 새로운 machine learning (ML) 프로젝트를 시작하는 많은 실무자에게 기본 선택지가 됩니다.

Adam의 작동 원리#

핵심적으로, 모델 학습은 모델의 예측값과 실제 데이터 사이의 차이를 측정하는 loss function을 최소화하는 과정을 포함합니다. 표준 알고리즘은 일반적으로 일정한 스텝 크기(learning rate)를 사용하여 최소 오차를 향해 "손실 풍경(loss landscape)"을 내려갑니다. 그러나 이 풍경은 종종 복잡하며, 단순한 알고리즘을 가두는 협곡과 평탄지를 포함하고 있습니다.

Adam은 모든 파라미터에 대해 두 가지 과거 버퍼를 유지함으로써 이 문제를 해결합니다.

1. 모멘텀(1차 모멘트): 언덕을 굴러 내려가는 무거운 공과 유사하게, 이전 그래디언트의 이동 평균을 추적하여 관련 방향으로의 속도를 유지합니다.

2. 분산(2차 모멘트): 제곱된 그래디언트의 이동 평균을 추적하며, 이를 통해 학습률의 스케일을 조정합니다.

이러한 조합을 통해 optimizer는 풍경의 평탄한 영역에서는 더 큰 스텝을 밟고, 가파르거나 노이즈가 많은 영역에서는 더 작고 신중한 스텝을 밟을 수 있습니다. 구체적인 메커니즘은 다양한 deep learning (DL) 작업에서 경험적 우수성을 입증한 Kingma와 Ba의 기초적인 Adam 연구 논문에 자세히 설명되어 있습니다.

실제 애플리케이션 사례#

Adam optimizer의 다재다능함 덕분에 artificial intelligence (AI)의 거의 모든 부문에서 채택되고 있습니다.

• 자연어 처리 (NLP): Generative Pre-trained Transformers (GPT)와 같은 대형 언어 모델은 학습을 위해 Adam(또는 그 변형인 AdamW)에 크게 의존합니다. 이 알고리즘은 방대한 어휘와 대규모 데이터셋과 관련된 희소 기울기(sparse gradients)를 효율적으로 처리하여 강력한 chatbots과 번역 시스템을 구축할 수 있게 해줍니다.
• 헬스케어 컴퓨터 비전: 의료 이미지 분석에서 모델은 MRI 스캔의 종양과 같은 미세한 이상 징후를 감지해야 합니다. Adam은 convolutional neural networks (CNNs)이 고정밀 솔루션에 빠르게 수렴하도록 돕는데, 이는 AI in Healthcare를 위한 진단 도구를 개발할 때 매우 중요합니다.

Adam vs. SGD#

Adam은 일반적으로 수렴 속도가 더 빠르지만, **Stochastic Gradient Descent (SGD)**와 구분하는 것이 중요합니다. SGD는 고정된 learning rate를 사용하여 model weights를 업데이트하며, 테스트 데이터에 대해 때때로 약간 더 나은 일반화(최종 정확도)를 달성할 수 있기 때문에 최첨단 object detection 모델의 최종 학습 단계에서 선호되는 경우가 많습니다.

그러나 Adam은 "적응형(adaptive)"이므로 learning rate 튜닝을 자동으로 처리합니다. 이로 인해 초기 실험이나 SGD 튜닝이 어려울 수 있는 복잡한 아키텍처에서 훨씬 더 사용자 친화적입니다. Ultralytics Platform에서 실험을 관리하는 사용자에게 성능을 비교하기 위해 이러한 optimizer 간을 전환하는 것은 hyperparameter tuning의 핵심 단계인 경우가 많습니다.

Ultralytics를 활용한 구현#

PyTorch 및 Ultralytics 라이브러리와 같은 최신 프레임워크를 사용하면 Adam을 쉽게 활용할 수 있습니다. 원래 Adam 알고리즘의 정규화 문제를 해결하기 때문에 AdamW(가중치 감쇠가 적용된 Adam)라는 인기 있는 변형이 자주 권장됩니다. 이는 AdamW가 제공하는 안정성의 이점을 얻는 YOLO26과 같은 최신 아키텍처에 특히 효과적입니다.

다음 예제는 AdamW 옵티마이저를 사용하여 Ultralytics YOLO26 모델을 학습시키는 방법을 보여줍니다:

from ultralytics import YOLO

# Load the cutting-edge YOLO26n model
model = YOLO("yolo26n.pt")

# Train the model using the 'AdamW' optimizer
# The 'optimizer' argument allows easy switching between SGD, Adam, AdamW, etc.
results = model.train(data="coco8.yaml", epochs=5, optimizer="AdamW")

더 깊은 이론적 배경에 관심이 있는 개발자를 위해 Stanford CS231n Optimization Notes와 같은 리소스는 Adam이 RMSProp 및 AdaGrad와 같은 다른 알고리즘과 어떻게 다른지에 대한 훌륭한 시각 자료를 제공합니다. 또한 PyTorch Optimizer Documentation은 사용자 정의에 사용할 수 있는 인수 및 구현 세부 정보에 대한 기술적 정보를 제공합니다.