Adam Optimizer

Adam Optimizer는 Adaptive Moment Estimation의 약자로, 딥러닝 모델 학습에 널리 사용되는 정교한 최적화 알고리즘입니다. 이 알고리즘은 확률적 경사 하강법(SGD)의 두 가지 대중적인 확장인 Adaptive Gradient Algorithm(AdaGrad)과 Root Mean Square Propagation(RMSProp)의 장점을 결합하여 이 분야에 혁신을 가져왔습니다. Adam은 그래디언트의 1차 및 2차 모멘트 추정치를 기반으로 각 파라미터에 대한 개별적인 적응형 학습률을 계산함으로써, 신경망이 기존 방식보다 훨씬 빠르게 수렴하도록 합니다. 뛰어난 견고성과 최소한의 튜닝 요구 사항 덕분에 새로운 머신러닝(ML) 프로젝트를 시작하는 많은 실무자에게 기본 선택지로 자리 잡았습니다.

Link to this sectionAdam의 작동 원리#

모델 학습의 핵심은 모델의 예측값과 실제 데이터 간의 차이를 측정하는 손실 함수를 최소화하는 것입니다. 표준 알고리즘은 일반적으로 고정된 단계 크기(학습률)를 사용하여 최소 오차를 향해 "손실 지형"을 내려갑니다. 그러나 이 지형은 종종 복잡하며, 단순한 알고리즘을 가두어 버릴 수 있는 협곡과 고원이 존재합니다.

Adam은 모든 파라미터에 대해 두 가지 과거 버퍼를 유지함으로써 이 문제를 해결합니다.

1. 모멘텀(1차 모멘트): 언덕을 굴러 내려가는 무거운 공과 유사하게, 이전 그래디언트의 이동 평균을 추적하여 관련 방향으로의 속도를 유지합니다.

2. 분산(2차 모멘트): 제곱된 그래디언트의 이동 평균을 추적하며, 이를 통해 학습률의 스케일을 조정합니다.

이러한 조합을 통해 옵티마이저는 지형의 평탄한 영역에서는 큰 보폭으로 이동하고, 경사가 가파르거나 노이즈가 많은 영역에서는 더 작고 신중한 걸음을 내딛을 수 있습니다. 구체적인 메커니즘은 Kingma와 Ba가 작성한 기초적인 Adam 연구 논문에 자세히 설명되어 있으며, 이 논문은 다양한 딥러닝(DL) 작업 전반에서 Adam의 경험적 우수성을 입증했습니다.

Link to this section실제 애플리케이션 사례#

Adam 옵티마이저의 범용성은 인공지능(AI) 분야 전반에 걸친 채택으로 이어졌습니다.

• 자연어 처리(NLP): Generative Pre-trained Transformers (GPT)와 같은 대규모 언어 모델은 학습을 위해 Adam(또는 그 변형인 AdamW)에 크게 의존합니다. 이 알고리즘은 방대한 어휘와 거대한 데이터셋과 관련된 희소 그래디언트를 효율적으로 처리하여 강력한 챗봇과 번역 시스템을 구축할 수 있게 합니다.
• 의료 분야의 컴퓨터 비전: 의료 영상 분석에서 모델은 MRI 스캔에서 종양과 같은 미세한 이상 징후를 감지해야 합니다. Adam은 합성곱 신경망(CNN)이 고정밀 솔루션에 빠르게 수렴하도록 도우며, 이는 의료 AI를 위한 진단 도구 개발 시 매우 중요합니다.

Link to this sectionAdam vs. SGD#

Adam은 일반적으로 수렴 속도가 더 빠르지만, **확률적 경사 하강법(SGD)**과 구분하는 것이 중요합니다. SGD는 고정된 학습률을 사용하여 모델 가중치를 업데이트하며, 때때로 테스트 데이터에서 약간 더 나은 일반화(최종 정확도)를 달성할 수 있기 때문에 최첨단 객체 탐지 모델의 최종 학습 단계에서 선호되는 경우가 많습니다.

하지만 Adam은 "적응형"이므로 학습률 튜닝을 자동으로 처리합니다. 이 때문에 초기 실험이나 SGD 튜닝이 어려운 복잡한 아키텍처에서 훨씬 더 사용자 친화적입니다. Ultralytics Platform에서 실험을 관리하는 사용자의 경우, 성능을 비교하기 위해 옵티마이저를 전환하는 것은 하이퍼파라미터 튜닝의 핵심 단계입니다.

Link to this sectionUltralytics를 활용한 구현#

PyTorch 및 Ultralytics 라이브러리와 같은 현대적 프레임워크를 사용하면 Adam을 쉽게 활용할 수 있습니다. AdamW(Weight Decay가 포함된 Adam)라고 불리는 인기 있는 변형은 원본 Adam 알고리즘의 정규화 문제를 해결해주기 때문에 자주 권장됩니다. 이는 AdamW가 제공하는 안정성 덕분에 YOLO26과 같은 최신 아키텍처에 특히 효과적입니다.

다음 예제는 AdamW 옵티마이저를 사용하여 YOLO26 모델을 학습시키는 방법을 보여줍니다:

from ultralytics import YOLO

# Load the cutting-edge YOLO26n model
model = YOLO("yolo26n.pt")

# Train the model using the 'AdamW' optimizer
# The 'optimizer' argument allows easy switching between SGD, Adam, AdamW, etc.
results = model.train(data="coco8.yaml", epochs=5, optimizer="AdamW")

더 깊은 이론적 근거에 관심이 있는 개발자를 위해 Stanford CS231n 최적화 노트에서는 Adam이 RMSProp 및 AdaGrad와 같은 다른 알고리즘과 어떻게 비교되는지에 대한 훌륭한 시각화 자료를 제공합니다. 또한 PyTorch 옵티마이저 문서는 사용자 정의에 필요한 인수와 구현 세부 사항에 대한 기술적 정보를 제공합니다.