优化算法

优化算法作为核心计算引擎，驱动着机器学习（ML） 和深度学习（DL）模型的训练过程。其主要职责是通过迭代调整模型内部权重和偏置，以最小化预测结果与实际目标值之间的误差。 可将此过程类比为登山者在雾气缭绕的山间下行，试图抵达谷底最低点。优化算法如同向导，为登山者规划行进方向并计算每步幅度，最终抵达谷底——这恰对应于损失函数最小化、模型预测精度最大化的理想状态。

优化算法如何工作

神经网络的训练涉及预测、误差计算和参数更新的循环过程。优化算法控制着该循环的"更新"阶段。当处理完一批训练数据后，系统会通过一种称为反向传播的方法计算出梯度——一个指向误差增长最陡峭方向的向量。

优化器随后沿着梯度的反方向更新模型参数以减少误差。 该更新幅度由一个关键超参数——学习率所决定。 若步长过大，模型可能越过全局最优解； 若步长过小，训练速度可能变得极其缓慢， 或陷入局部最优解无法自拔。 诸如斯坦福大学CS231n课程的优化笔记等高级资源，能为这些动态机制提供更深入的技术洞见。

常见优化算法类型

不同问题需要不同策略。尽管存在诸多变体，但少数关键算法主导着现代人工智能的发展：

• 随机梯度下降（SGD）： 一种经典方法，通过单个样本或小批量数据更新参数， 而非使用整个数据集。该方法计算效率高， 在Scikit-learn等库中广泛应用。
• Adam ：全称为自适应矩估计（Adaptive Moment Estimation），Adam 针对每个参数单独Adam 学习率。其原理详见Kingma与Ba发表的开创性Adam 论文，因其速度快且收敛性好，常作为通用训练任务的默认选择。
• AdamW：一种Adam 变体Adam 权重衰减与梯度更新解耦，从而获得更强的泛化能力。该优化器常被用于训练前沿架构，如Transformers模型及Ultralytics 模型。

实际应用

优化算法在几乎所有成功的AI解决方案背后默默运作，将数据转化为可执行的智能。

1. 自动驾驶汽车：在 自动驾驶技术中， 物体检测系统必须瞬间识别 行人、交通信号灯及其他车辆。在为 汽车人工智能系统进行训练时，优化算法 处理数百万张道路图像，通过精细调整网络结构来最小化检测误差。这确保车辆在 发现行人时能可靠地停止，从而避免事故发生。
2. 医学图像分析： 在医疗健康领域的人工智能应用中，例如通过MRI扫描识别肿瘤时，精准度是不可妥协的。优化器引导卷积神经网络（CNN）的训练，使其以高灵敏度区分恶性组织与健康组织，从而降低关键诊断中漏诊的风险。

区分相关概念

要有效理解工作流程，必须将优化算法与学习过程的其他组件区分开来。

• 优化算法与 损失函数： 损失函数如同"记分板"，通过计算数值（如均方误差）来衡量模型预测的偏差程度。优化算法则是"战略家"，它利用该评分调整权重，从而在下一轮迭代中提升模型性能。
• 优化算法与超参数调优： 优化算法 在训练循环中学习内部参数（权重）。 超参数调优则涉及在训练开始前选择最佳外部设置——例如优化器本身的选取、批量大小或初始学习率。诸如Ray Tune之类的自动化工具常被用于寻找这些外部设置的最优组合。

用Python实现优化

在现代框架中，优化算法的选择通常通过单一参数实现。以下示例 演示了如何训练一个 YOLO26 使用 AdamW 优化器在 ultralytics package. Users can also leverage the Ultralytics 平台 for a no-code approach to managing these training sessions.

from ultralytics import YOLO

# Load the latest YOLO26 model (recommended for new projects)
model = YOLO("yolo26n.pt")

# Train the model using the 'AdamW' optimization algorithm
# The optimizer iteratively updates weights to minimize loss on the dataset
results = model.train(data="coco8.yaml", epochs=5, optimizer="AdamW")

对于关注底层机制的开发者，诸如 PyTorch TensorFlow 优化器等框架 提供了详尽的文档，指导如何为自定义研究架构实现和定制这些算法。