Deep Learning (DL)

深度学习 (DL) 是机器学习 (ML)的一个分支，通过训练包含许多堆叠层的神经网络，直接从像素、音频波形和文本等原始数据中学习。“深度”指的就是网络的层数：每一层都会转换前一层的输出，因此网络能够自行构建特征层次结构，例如从图像中的边缘、纹理到完整对象，而无需工程师手动设计这些特征。深度学习为现代计算机视觉、语音识别、大语言模型 (LLM)和生成式 AI提供了核心技术。

深度学习的工作原理#

神经网络由一系列层组成。每一层都将输入与学习得到的权重矩阵相乘，加上偏置，再通过非线性激活函数（例如 ReLU）处理结果。非线性使网络深度变得有用：没有非线性时，任意多层堆叠最终都可以合并为一次线性变换。

训练会调整权重，使网络输出与训练标签相匹配。在每一步中，一批数据会经过网络前向传播；损失函数对误差进行评分；反向传播计算每个权重对误差的贡献；然后，优化器（例如随机梯度下降 (SGD)或 Adam）会沿着降低误差的方向微调每个权重。经过多个轮次的重复训练，随机权重就会变成有用的特征。下面的 PyTorch示例在点数据上训练一个单层线性模型和一个三层网络，点的标签表示它们是否位于圆内：

import torch
from torch import nn

torch.manual_seed(0)

# Points inside a circle are class 1: no straight line separates the classes
x = torch.rand(1000, 2) * 2 - 1
y = (x.pow(2).sum(dim=1) < 0.5).float().unsqueeze(1)

# A single linear layer versus stacked layers with nonlinear activations
models = {
    "linear": nn.Linear(2, 1),
    "deep": nn.Sequential(nn.Linear(2, 16), nn.ReLU(), nn.Linear(16, 16), nn.ReLU(), nn.Linear(16, 1)),
}
for name, model in models.items():
    optimizer = torch.optim.Adam(model.parameters(), lr=0.01)
    for step in range(500):
        loss = nn.functional.binary_cross_entropy_with_logits(model(x), y)
        optimizer.zero_grad()
        loss.backward()  # backpropagation computes gradients for every layer
        optimizer.step()
    accuracy = ((model(x) > 0) == y).float().mean()
    print(f"{name}: {accuracy:.1%} accuracy")

线性模型的准确率达到 60.8%，大致相当于圆外点所占比例，因为直线边界无法围成一个区域。深度模型的准确率达到 99.9%：它的隐藏层将决策边界弯曲成从数据中学到的曲线。Ultralytics YOLO26以更大的规模采用同样的训练循环，而 model.train()会在 GPU 可用时，对带标签图像执行前向传播、损失计算和反向传播。

深度学习与机器学习#

深度学习是机器学习的一个子集；两者的主要区别在于特征的来源。传统算法，例如决策树、支持向量机和梯度提升树，会从人们定义的特征中学习，例如交易金额或单词数量。深度网络则会自行学习特征，因此在图像、音频和文本等非结构化数据上占据优势。这种能力也有代价：深度模型通常需要更多的带标签数据，在 GPU或其他加速器上训练，而且推理过程的可解释性较弱。对于表格数据，XGBoost等梯度提升树仍然是强有力的竞争者；迁移学习则通过从大型数据集上预训练的网络出发，缩小了深度模型的数据差距。

主要架构#

• 卷积神经网络 (CNN)：在图像上滑动小型学习滤波器，从而在帧内任意位置识别相同模式。CNN 是实时目标检测和图像分割的基础。
• 循环神经网络 (RNN)：逐步处理序列，同时保留隐藏状态。Transformer 出现之前，LSTM 等变体曾在语音和翻译领域占据主导地位。
• Transformer：使用自注意力并行关联序列中的每个元素与其他所有元素。Transformer 于 2017 年提出，为 LLM 和视觉 Transformer (ViT)提供了核心技术。
• 扩散模型：学习逐步去除噪声，因此能够从随机噪声生成图像、视频和音频。

简史#

深度学习背后的理念已有数十年历史。反向传播因David Rumelhart、Geoffrey Hinton 和 Ronald Williams 于 1986 年发表的论文而广为人知，但直到三项条件同时具备，神经网络才摆脱浅层结构：像 ImageNet 这样的大型标注数据集、足以训练这些数据集的高速 GPU，以及 ReLU 激活和 dropout 等技术。2012 年，AlexNet 将 ImageNet 的 top-5 错误率降至 15.3%，而排名第二的参赛模型为 26.2%；几乎一夜之间，整个领域转向了深度网络。Hinton、Yann LeCun 和 Yoshua Bengio 因这项工作获得 2018 年图灵奖；2024 年诺贝尔物理学奖则授予 Hinton 和 John Hopfield，以表彰他们在推动人工神经网络机器学习方面的发现。网络深度本身也持续增长：残差连接让 ResNet 能够训练 152 层的网络，而由这类网络组成的集成模型赢得了 2015 年 ImageNet 图像分类挑战赛，top-5 错误率为 3.57%。