Backpropagation

反向传播是“误差反向传播”（backward propagation of errors）的简称，是现代人工智能系统从数据中学习的基础算法。在模型训练过程中，它充当数学信使，精确计算神经网络中的每个参数对错误预测的贡献。反向传播通过计算损失函数相对于每个权重的梯度，为网络提供必要的反馈，使网络能够调整自身并逐步提高准确率。如果没有这种高效的导数计算方法，训练深度且复杂的模型在计算上将难以实现。

学习机制#

要理解反向传播，可以把它看作一个循环中的一环。当神经网络处理图像或文本时，会执行“前向传播”来进行预测。随后，系统使用损失函数将预测结果与正确答案进行比较，并量化误差。

反向传播从输出层开始，沿网络层逐层向后进行。它利用微积分链式法则计算梯度。这些梯度实际上会告诉系统：“要减小误差，就稍微增大这个权重”，或者“显著减小那个偏置”。对于卷积神经网络 (CNNs)等深层架构而言，这些信息至关重要，因为这类架构需要同时微调数百万个参数。

反向传播与优化#

初学者常会把反向传播和优化步骤混为一谈，但它们是训练循环中的两个不同过程。

• 反向传播是一种诊断工具。它计算梯度，相当于绘制一幅误差地形图，显示其斜率。它回答的问题是：“我们应该朝哪个方向移动才能减小误差？”
• 优化是采取行动。随机梯度下降 (SGD)或Adam 优化器等算法会使用反向传播提供的梯度，并更新权重。如果说反向传播是地图，那么优化器就是沿着地图前进的徒步者。

AI 领域的现实应用#

反向传播是几乎所有现代 AI 成就背后的基础机制，使模型能够从训练数据推广到新的、未见过的输入。

• 计算机视觉：在使用YOLO26等模型进行目标检测时，反向传播使网络能够学习空间层级结构。它帮助模型理解某些边缘如何构成形状，以及这些形状如何组成汽车或行人等物体。展望未来，Ultralytics Platform将运用这些训练技术，帮助用户创建自定义模型，以准确识别制造业中的缺陷或监测农业作物健康状况。
• 自然语言处理 (NLP)：对于大型语言模型 (LLMs)，例如OpenAI开发的模型，反向传播使系统能够学习句子中下一个词出现的概率。通过传播错误文本预测产生的误差，模型可以学习细致的语法和语境知识，这对于机器翻译等应用至关重要。

深层网络中的挑战#

尽管该算法功能强大，但在非常深的网络中仍会面临挑战。梯度消失问题是指梯度在反向传播过程中变得过小，导致较早的层停止学习。相反，梯度爆炸是指梯度不断累积，达到极不稳定的数值。人们通常会采用批归一化等技术以及ResNet等专用架构来缓解这些问题。

Python 代码示例#

训练时，ultralytics 等高级库会将这一过程抽象起来，而底层的 PyTorch 框架则让你可以直接查看其机制。.backward() 方法会触发反向传播过程，为任何满足 requires_grad=True 的张量计算导数。

import torch

# Create a tensor that tracks operations for backpropagation
w = torch.tensor([2.0], requires_grad=True)
x = torch.tensor([3.0])

# Forward pass: compute prediction and loss (simple example)
# Let's assume the target value is 10.0
loss = (w * x - 10.0) ** 2

# Backward pass: This command executes backpropagation
loss.backward()

# The gradient is now stored in w.grad, showing how to adjust 'w'
# This tells us the slope of the loss with respect to w
print(f"Gradient (dL/dw): {w.grad.item()}")

延伸阅读#

要了解反向传播在更广泛的 AI 开发中的作用，了解数据增强很有帮助，因为它能提供算法有效泛化所需的多样化样本。此外，了解用于评估训练效果的具体指标（例如平均精度均值 (mAP)），有助于你判断反向传播对模型的优化效果。若想深入了解理论，斯坦福大学 CS231n 课程笔记对相关微积分内容进行了出色的技术解析。