Adam Optimizer
ディープラーニング向けのAdamオプティマイザーを探求します。Ultralytics YOLO26のようなモデルにおいて、慣性とRMSPropを組み合わせて収束を高速化する方法を学びましょう。
Adam optimizer（Adaptive Moment Estimationの略）は、ディープラーニングモデルの学習に広く使用される高度な最適化アルゴリズムです。確率的勾配降下法（SGD）の他の2つの一般的な拡張機能であるAdaGrad（Adaptive Gradient Algorithm）とRMSProp（Root Mean Square Propagation）の利点を組み合わせることで、この分野に革命をもたらしました。Adamは勾配の1次および2次のモーメントの推定値から各パラメータの適応的な学習率を計算することで、従来の手法よりもはるかに高速にニューラルネットワークを収束させます。その堅牢性と最小限のチューニング要件により、多くの技術者が新しい機械学習（ML）プロジェクトを開始する際のデフォルトの選択肢となっています。
Link to this sectionAdamの仕組み#
モデルの学習の核心は、モデルの予測値と実際のデータの差を測定する損失関数を最小化することにあります。標準的なアルゴリズムでは通常、一定のステップサイズ（学習率）を使用して、「損失地形」を最小誤差に向かって降下させます。しかし、この地形は多くの場合複雑で、単純なアルゴリズムを陥らせるような谷や平坦な領域が存在します。
Adamは、すべてのパラメータに対して2つの履歴バッファを保持することでこれに対処します。
-
モメンタム（1次モーメント）: 丘を転がり落ちる重いボールのように、過去の勾配の移動平均を追跡し、関連する方向への速度を維持します。
-
分散（2次モーメント）: 2乗された勾配の移動平均を追跡し、これによって学習率をスケーリングします。
この組み合わせにより、オプティマイザは地形の平坦な領域では大きなステップを、急峻な領域やノイズの多い領域では慎重な小さなステップをとることができます。具体的なメカニズムは、KingmaとBaによるAdamの基礎研究論文に詳述されており、様々なディープラーニング（DL）タスクにおいて実証的な優位性が示されています。
Link to this section実社会での応用#
Adam optimizerの汎用性の高さから、人工知能（AI）のほぼすべての分野で採用されています。
- 自然言語処理（NLP）: Generative Pre-trained Transformers (GPT) などの大規模言語モデルは、学習にAdam（またはその亜種であるAdamW）を大きく依存しています。このアルゴリズムは、膨大な語彙と大規模なデータセットに関連する疎な勾配を効率的に処理し、強力なチャットボットや翻訳システムの作成を可能にします。
- ヘルスケアにおけるコンピュータビジョン: 医療画像解析において、モデルはMRIスキャン内の腫瘍のようなわずかな異常を検出する必要があります。Adamは畳み込みニューラルネットワーク（CNN）が高精度なソリューションに素早く収束するのを支援します。これは、AI in Healthcare向けの診断ツールを開発する際に不可欠です。
Link to this sectionAdamとSGDの比較#
Adamは一般的に収束が速いですが、Stochastic Gradient Descent (SGD) と区別することが重要です。SGDは固定の学習率を使用してモデル重みを更新します。テストデータに対してわずかに優れた汎化性能（最終的な精度）を達成できる場合があるため、最先端の物体検出モデルの最終学習段階ではしばしばSGDが好まれます。
しかし、Adamは「適応的」であるため、学習率の調整を自動的に処理します。これにより、初期の実験やSGDの調整が困難な複雑なアーキテクチャにおいて、より使いやすくなります。Ultralytics Platformで実験を管理するユーザーにとって、これらのオプティマイザを切り替えてパフォーマンスを比較することは、ハイパーパラメータチューニングの重要なステップとなることがよくあります。
Link to this sectionUltralyticsによる実装#
PyTorchやUltralyticsライブラリのような現代的なフレームワークでは、Adamを簡単に利用できます。AdamW（Adam with Weight Decay）と呼ばれる一般的な亜種は、元のAdamアルゴリズムにおける正則化の問題を修正するため、推奨されることが多いです。これは、AdamWが提供する安定性の恩恵を受ける YOLO26 などの最新アーキテクチャに対して特に効果的です。
次の例は、AdamWオプティマイザを使用してYOLO26モデルを学習する方法を示しています。
from ultralytics import YOLO
# Load the cutting-edge YOLO26n model
model = YOLO("yolo26n.pt")
# Train the model using the 'AdamW' optimizer
# The 'optimizer' argument allows easy switching between SGD, Adam, AdamW, etc.
results = model.train(data="coco8.yaml", epochs=5, optimizer="AdamW")より深い理論的背景に関心のある開発者向けに、Stanford CS231n Optimization Notes などのリソースでは、AdamがRMSPropやAdaGradといった他のアルゴリズムとどのように異なるかを視覚的に分かりやすく解説しています。さらに、PyTorch Optimizer Documentation では、カスタマイズ可能な引数や実装の詳細に関する技術情報が提供されています。
