Backpropagation

反向传播（Backpropagation，即“误差反向传播”）是使现代人工智能系统能够从数据中学习的基础算法。它在模型训练过程中充当数学信使，精确计算神经网络中的每个参数对错误预测的贡献程度。通过确定损失函数相对于每个权重的梯度，反向传播提供了必要的反馈，使网络能够自我调整并随着时间推移提高准确性。如果没有这种高效的导数计算方法，训练深度复杂的模型在计算上将是不可行的。

Link to this section学习机制#

要理解反向传播，将其视为一个周期的一部分会有所帮助。当神经网络处理图像或文本时，它会执行“前向传播”来进行预测。随后，系统使用损失函数将此预测与正确答案进行对比，从而量化误差。

反向传播从输出层开始，并在网络层中向后移动。它利用微积分链式法则来计算梯度。这些梯度有效地告诉系统：“要减少误差，请稍微增加该权重”或“大幅减小该偏差”。对于深层架构（如卷积神经网络 (CNN)）而言，这些信息至关重要，因为在这些架构中，数百万个参数必须同时进行微调。

Link to this section反向传播与优化#

初学者常将反向传播与优化步骤混淆，但它们是训练循环中截然不同的两个过程。

• 反向传播是诊断工具。它计算梯度，有效地绘制出一张显示误差景观斜率的地图。它回答了“我们应该朝哪个方向移动以减少误差？”这个问题。
• 优化是行动。诸如随机梯度下降 (SGD) 或 Adam 优化器之类的算法会采用反向传播提供的梯度并更新权重。如果反向传播是地图，那么优化器就是那个迈出步伐的徒步旅行者。

Link to this section人工智能的实际应用#

反向传播是几乎所有现代 AI 成功的底层机制，它使模型能够从训练数据泛化到新的、未见过的输入中。

• Computer Vision: In object detection tasks using models like YOLO26, backpropagation enables the network to learn spatial hierarchies. It helps the model understand that certain edges form shapes, and those shapes form objects like cars or pedestrians. Looking ahead, the Ultralytics Platform leverages these training techniques to help users create custom models that can accurately identify defects in manufacturing or monitor crop health in agriculture.
• Natural Language Processing (NLP): For Large Language Models (LLMs) such as those developed by OpenAI, backpropagation allows the system to learn the probability of the next word in a sentence. By propagating errors from incorrect text predictions, the model learns nuanced grammar and context, essential for applications like machine translation.

Link to this section深度网络中的挑战#

尽管该算法功能强大，但在非常深的网络中仍面临挑战。梯度消失问题发生在梯度在向后传递过程中变得太小时，导致早期层停止学习。相反，梯度爆炸则涉及梯度积累到极其不稳定的值。为了缓解这些问题，通常会采用批归一化 (Batch Normalization) 等技术以及像 ResNet 这样的专用架构。

Link to this sectionPython 代码示例#

虽然像 ultralytics 这样的高级库在训练过程中抽象了此过程，但底层的 PyTorch 框架 允许你直接查看该机制。.backward() 方法会触发反向传播过程，为任何 requires_grad=True 的张量计算导数。

import torch

# Create a tensor that tracks operations for backpropagation
w = torch.tensor([2.0], requires_grad=True)
x = torch.tensor([3.0])

# Forward pass: compute prediction and loss (simple example)
# Let's assume the target value is 10.0
loss = (w * x - 10.0) ** 2

# Backward pass: This command executes backpropagation
loss.backward()

# The gradient is now stored in w.grad, showing how to adjust 'w'
# This tells us the slope of the loss with respect to w
print(f"Gradient (dL/dw): {w.grad.item()}")

Link to this section延伸阅读#

为了理解反向传播如何融入更广泛的 AI 开发范围，探索数据增强的概念是有益的，因为它为算法有效泛化提供了必要的各种示例。此外，了解用于评估训练成功与否的特定指标（如平均精度均值 (mAP)）有助于解读反向传播过程优化模型的程度。如需深入了解理论，Stanford CS231n 课程笔记 提供了极好的相关微积分技术解析。