Adam Optimizer

Adam 优化器是自适应矩估计（Adaptive Moment Estimation）的简称，是一种广泛用于训练深度学习模型的复杂优化算法。它结合了随机梯度下降（SGD）另外两个流行扩展（自适应梯度算法 AdaGrad 和均方根传播 RMSProp）的优点，革新了该领域。通过根据梯度一阶和二阶矩的估计为不同参数计算各自的自适应学习率，Adam 使得神经网络能够比传统方法显著更快地收敛。其鲁棒性和极少的调优需求使其成为许多开始新机器学习（ML）项目的实践者的默认选择。

Adam 的工作原理#

核心而言，训练模型涉及最小化损失函数，该函数用于衡量模型预测与实际数据之间的差异。标准算法通常使用恒定的步长（学习率）沿“损失地形”向最小误差处下降。然而，这种地形通常很复杂，具有容易困住较简单算法的峡谷和平原。

Adam 通过为每个参数维护两个历史缓冲区来解决此问题：

1. 动量（第一矩）： 类似于在山上滚落的沉重球体，它跟踪过去梯度的移动平均值，以保持在相关方向上的速度。

2. 方差（第二矩）： 它跟踪平方梯度的移动平均值，从而对学习率进行缩放。

这种组合使得优化器能够在地形平坦区域采取较大的步长，在陡峭或噪声较多的区域采取更小、更谨慎的步长。具体的机制在开创性的由 Kingma 和 Ba 撰写的 Adam 研究论文中有详细说明，该论文展示了其在各种深度学习（DL）任务中的经验优越性。

实际应用#

Adam 优化器的多功能性使其被几乎所有人工智能（AI）领域所采纳。

• **自然语言处理（NLP）：**诸如生成式预训练 Transformer（GPT）这样的大型语言模型，在很大程度上依赖 Adam（或其变体 AdamW）进行训练。该算法能高效处理与庞大词汇量和海量数据集相关的稀疏梯度，从而能够创建强大的聊天机器人和翻译系统。
• **医疗计算机视觉：**在医学图像分析中，模型必须检测出诸如 MRI 扫描中的肿瘤等微小异常。Adam 帮助卷积神经网络（CNN）快速收敛到高精度的解决方案，这对于开发医疗 AI 诊断工具至关重要。

Adam 与 SGD#

虽然 Adam 通常收敛更快，但区分它与**随机梯度下降（SGD）**是很重要的。SGD 使用固定的学习率更新模型权重，通常更受处于最先进目标检测模型训练最后阶段的青睐，因为它有时能在测试数据上实现稍好的泛化能力（最终准确率）。

然而，Adam 是“自适应的”，这意味着它会自动处理学习率的调优。这使得它对于初始实验和调优 SGD 会很困难的复杂架构来说更加用户友好。对于在Ultralytics 平台上管理实验的用户来说，在这些优化器之间切换以比较性能通常是超参数调优中的关键步骤。

使用 Ultralytics 进行实现#

诸如PyTorch和 Ultralytics 库之类的现代框架使得使用 Adam 变得很简单。推荐使用一种名为 AdamW（带权重衰减的 Adam）的流行变体，因为它修复了原始 Adam 算法中正则化的问题。这对于像YOLO26这样受益于 AdamW 提供的稳定性的最新架构特别有效。

以下示例展示了如何使用 AdamW 优化器训练 Ultralytics YOLO26 模型：

from ultralytics import YOLO

# Load the cutting-edge YOLO26n model
model = YOLO("yolo26n.pt")

# Train the model using the 'AdamW' optimizer
# The 'optimizer' argument allows easy switching between SGD, Adam, AdamW, etc.
results = model.train(data="coco8.yaml", epochs=5, optimizer="AdamW")

对于对更深层理论基础感兴趣的开发者，诸如斯坦福 CS231n 优化笔记之类的资源提供了关于 Adam 如何与其他算法（如 RMSProp 和 AdaGrad）进行比较的极好可视化说明。此外，PyTorch 优化器文档提供了有关可供定制的参数和实现细节的技术信息。