Stochastic Gradient Descent (SGD)
学习随机梯度下降 (SGD) 如何优化机器学习模型。探索 SGD 如何助力 Ultralytics YOLO26 实现更快速、更高效的 AI 训练。
随机梯度下降 (SGD) 是一种功能强大的优化算法，广泛应用于机器学习中，能高效地训练模型，尤其是在处理大型数据集时。其核心在于，SGD 是标准梯度下降方法的一种变体，旨在通过更频繁地更新模型参数来加速学习过程。与传统的批梯度下降法在进行单次更新前先计算整个数据集的误差不同，SGD 每次仅使用一个随机选择的训练样本来更新模型权重。这种“随机”特性为优化路径引入了噪声，有助于模型跳出次优解，并在处理无法一次性装入内存的大规模数据集时更快地收敛。
Link to this section随机梯度下降的工作原理#
任何训练过程的主要目标都是最小化 损失函数，它量化了模型预测值与实际目标值之间的差异。SGD 通过一个迭代周期来实现这一点。首先，该算法从 训练数据 中选择一个随机数据点。然后，它执行前向传播以生成预测并计算误差。利用 反向传播，算法基于该单一示例计算梯度（本质上是误差景观的斜率）。最后，它沿梯度的相反方向更新 模型权重 以减小误差。
这个过程会重复多次迭代，通常按 周期 (epochs) 分组，直到模型性能趋于稳定。这些更新的幅度由一个称为 学习率 的超参数控制。由于每一步都基于单个样本，因此与批梯度下降的平滑轨迹相比，通往最小值的路径通常呈锯齿状或充满噪声。然而，这种噪声在深度学习中往往是有利的，因为它可以防止模型陷入局部最小值，从而有可能找到更好的全局解。
Link to this sectionSGD 与其他优化算法的对比#
理解 SGD 与相关 优化算法 之间的区别，对于选择正确的训练策略至关重要。
- 批梯度下降： 这种传统方法在每次更新时都使用整个数据集来计算梯度。虽然它提供了通往最小值的稳定且直接的路径，但在大规模 机器学习 (ML) 任务中，它的速度非常慢且极其消耗内存。
- 小批量梯度下降： 在实践中，大多数现代深度学习框架（包括 PyTorch）都实现了一种混合方法，通常称为 SGD，但在技术上严格属于“小批量 SGD”。该方法使用一小组样本（一个批次）而不是仅使用一个样本来更新参数。它平衡了纯 SGD 的计算效率与批梯度下降的稳定性，成为训练 YOLO26 等模型的标准方法。
- Adam 优化器： Adam 是一种自适应学习率优化算法，它是在 SGD 的基础上构建的。它根据矩估计为每个参数分别调整学习率。虽然 Adam 通常收敛更快，但带有动量的 SGD 在 计算机视觉 (CV) 领域中仍然经常使用，因为它在某些场景下能够找到更具泛化能力的解决方案。
Link to this section实际应用#
SGD 及其变体是当今许多颠覆性 AI 技术背后的引擎。
-
自动驾驶汽车： 在开发 自动驾驶汽车 时，模型必须处理海量的视觉数据流以识别行人、交通标志和障碍物。训练这些复杂的 目标检测 网络需要高效的优化来处理数百万张道路图像。SGD 使工程师能够迭代地改进模型的准确性，从而确保 汽车 AI 中的安全关键系统能够做出可靠的实时决策。
-
医学诊断： 医学图像分析 领域严重依赖深度学习来检测 MRI 扫描或 X 射线中的肿瘤等异常。由于医学数据集可能非常庞大且具有高分辨率，SGD 使得训练复杂的 卷积神经网络 (CNNs) 成为可能，而不会造成内存资源过载。这有助于创建高精度的诊断工具，从而在 医疗 AI 中辅助医生工作。
Link to this sectionPython 代码示例#
虽然高级库（如 ultralytics）在 train() 命令期间会在内部处理优化过程，但你可以查看如何在较低级的 PyTorch 工作流中初始化和使用 SGD 优化器。此代码片段演示了如何为张量定义一个简单的 SGD 优化器。
import torch
import torch.nn as nn
import torch.optim as optim
# Define a simple linear model
model = nn.Linear(10, 1)
# Initialize Stochastic Gradient Descent (SGD) optimizer
# 'lr' is the learning rate, and 'momentum' helps accelerate gradients in the right direction
optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.9)
# Create a dummy input and target
data = torch.randn(1, 10)
target = torch.randn(1, 1)
# Forward pass
output = model(data)
loss = nn.MSELoss()(output, target)
# Backward pass and optimization step
optimizer.zero_grad() # Clear previous gradients
loss.backward() # Calculate gradients
optimizer.step() # Update model parameters
print("Model parameters updated using SGD.")Link to this section挑战与解决方案#
尽管 SGD 很受欢迎，但也面临挑战。主要问题是梯度步骤中的噪声，这可能导致损失值剧烈波动而不是平滑收敛。为了缓解这种情况，从业者通常使用 动量 (momentum)，这是一种有助于加速 SGD 在相关方向上的移动并抑制振荡的技术，类似于滚下山的重球。此外，找到合适的学习率至关重要；如果学习率过高，模型可能会越过最小值（梯度爆炸），如果过低，训练速度会极其缓慢。诸如 Ultralytics Platform 之类的工具通过管理 超参数调优 并提供训练指标可视化，帮助自动化这一过程。像 Adam 优化器 这样的进步从本质上自动化了学习率调整，从而解决了 SGD 的一些固有难题。
