获取 YOLO 许可
返回 Ultralytics 术语表

Identity Mapping

恒等映射通过捷径将区块输入原样传递,并与输出相加,使梯度能够传回深层网络的早期层。

在深度学习中,恒等映射是一种连接,它会将模块的输入原样向前传递,并与模块输出相加,因此模块计算的是 y = x + F(x),而不是 y = F(x)。该名称来自恒等函数 f(x) = x。Kaiming He、Xiangyu Zhang、Shaoqing Ren 和 Jian Sun 于 2015 年基于这种恒等捷径构建了残差网络 (ResNet),并凭借一个 152 层网络赢得当年的 ImageNet 分类挑战。如今,恒等捷径几乎遍布所有深度架构,从卷积神经网络 (CNN)到每个Transformer的残差流。

恒等映射为何能让深层网络可训练#

在 ResNet 出现之前,增加网络层数往往会让网络表现变差。He 及其同事发现,在 CIFAR-10 上,56 层普通网络的训练误差高于 20 层网络,因此额外深度本身反而损害了优化;他们将这一问题称为退化。深层网络只要将额外层设为恒等映射,就总能达到浅层网络的效果,但多层非线性网络难以学会恒等映射。残差模块只需学习与输入的差值 F(x) = H(x) - x;让 F 趋近于零,就能恢复恒等映射。

这条捷径还会改变反向传播。由于 y = x + F(x),y 对 x 的导数为 1 加上 F 的导数,其中的常数 1 会让梯度沿着每个模块直接向后传递。在普通网络堆叠中,梯度是多个逐层因子的乘积;当这些因子小于 1 时,梯度会呈指数级缩小,这就是梯度消失问题。使用 PyTorch让同样的 50 层网络分别在有捷径和无捷径的情况下运行,可以看出两者的差异:

import torch
from torch import nn

torch.manual_seed(0)
# 50 identical-shape layers, reused for a plain and a residual stack
layers = [nn.Sequential(nn.Linear(64, 64), nn.Tanh()) for _ in range(50)]
x = torch.randn(32, 64, requires_grad=True)

for residual in (False, True):
    h = x
    for layer in layers:
        h = h + layer(h) if residual else layer(h)  # identity shortcut adds the input back
    loss = h.square().mean()
    (grad,) = torch.autograd.grad(loss, x)
    print(f"residual={residual}: gradient norm at the input {grad.norm():.1e}")

它会输出普通网络堆叠在输入处的梯度范数 1.1e-15,以及使用相同权重构建的残差网络堆叠的梯度范数 2.8e+00。如果没有捷径,这个网络的前几层几乎无法收到训练信号。

保持捷径不变#

在 2016 年的后续研究深度残差网络中的恒等映射中,同一批作者测试了对 x 进行缩放、门控、卷积或 dropout 的捷径,而每种变体的训练效果都不如纯恒等映射。他们还将批归一化和激活函数移到残差分支内部、权重之前,使模块之间的信号不受任何处理。这种预激活设计让一个 1,001 层 ResNet 在 CIFAR-10 上达到 4.62% 的错误率,并训练了一个 200 层 ResNet 用于 ImageNet。现代 Transformer 也遵循同一原则,采用预归一化模块,在每个注意力分支和前馈分支内部执行归一化,同时保持残差流本身不变。

恒等捷径要求输入和输出形状相同。如果模块改变通道数或进行下采样,ResNet 会改用投影捷径,通常是一个步幅匹配的 1 x 1 卷积:

Ultralytics YOLO26在骨干网络和颈部网络中都使用恒等捷径:每个 C3k2 模块都由多个瓶颈模块组成;只要输入和输出通道数一致,瓶颈模块就会返回 x 与两次 3 x 3 卷积输出之和。SPPF 模块也会以相同方式将输入加到池化输出上。

恒等初始化#

一个模块也可以从恒等映射开始。将每个残差分支中最后一个批归一化层的缩放参数设为零,会使初始化时 F(x) = 0,因此深层网络开始训练时就像浅层网络一样;Priya Goyal 及其同事用这种方法在一小时内通过大批量训练了 ImageNet 上的 ResNet-50,而 torchvision 将其提供为 zero_init_residual=True。ReZero 于 2020 年提出,它将每个残差分支乘以一个初始值为零的可学习标量。

PyTorch 的 nn.Identity 模块是一个没有参数的恒等映射。像 model.fc = nn.Identity() 中那样用它替换分类头,会将一个图像分类网络变成特征提取模型,并返回倒数第二层的嵌入。

跳跃连接是指任何绕过层的路径。残差连接是其中采用相加方式的一种,而恒等映射则是路径不应用任何变换的残差连接。U-Net 和 DenseNet 使用的跳跃连接会拼接较早的特征图,而不是将它们相加。身份保持是生成式 AI 和跟踪领域中的另一个无关术语,指生成或跟踪的人物在不同图像或视频帧中始终保持相同且可辨认的外观。

探索解决方案

体育领域的计算机视觉

体育领域的计算机视觉

了解 Ultralytics YOLO 如何通过球员和球追踪、表现分析、教练洞察及运动员康复,推动体育视觉技术的发展。
了解详情
航空影像计算机视觉

航空影像计算机视觉

使用 Ultralytics YOLO 将无人机和航空影像转化为农业、水产养殖、保护工作和地理空间分析的实时洞察。
了解详情
航空航天中的计算机视觉

航空航天中的计算机视觉

使用 Ultralytics YOLO 将计算机视觉应用于航空航天领域,包括飞机检查、跑道 FOD 检测、机场地面作业和复合材料缺陷检测。
了解详情
安防领域的计算机视觉

安防领域的计算机视觉

使用 Ultralytics YOLO 模型守护每个场所。视觉 AI 可用于周界监控、威胁检测、车牌识别和工作场所安全。
了解详情
机器人领域的计算机视觉

机器人领域的计算机视觉

使用 Ultralytics YOLO 模型提升智能机器的能力。机器人领域的视觉 AI 可用于自主导航、感知、目标跟踪和实时控制。
了解详情
物流中的计算机视觉

物流中的计算机视觉

借助 Ultralytics YOLO 模型优化物流流程。视觉 AI 可用于包裹检查、分拣、车辆跟踪和仓库安全实时监控。
了解详情
零售中的计算机视觉

零售中的计算机视觉

借助 Ultralytics YOLO 模型重新构想零售。视觉 AI 可用于库存跟踪、货架监控、排队管理和更深入的客户洞察。
了解详情
医疗领域的计算机视觉

医疗领域的计算机视觉

借助 Ultralytics YOLO 模型构建医疗解决方案。医疗领域的视觉 AI 可加快医学影像处理、优化诊断并监测患者。
了解详情
制造业中的计算机视觉

制造业中的计算机视觉

利用 Ultralytics YOLO 模型优化制造流程。视觉 AI 可用于质量控制、缺陷检测、个人防护装备合规检查和装配线自动化。
了解详情
汽车领域的计算机视觉

汽车领域的计算机视觉

利用 Ultralytics YOLO 模型在汽车领域应用计算机视觉。视觉 AI 可提升道路安全、驾驶辅助和车辆自动化水平,让道路更智能。
了解详情
农业中的计算机视觉

农业中的计算机视觉

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。为作物监测、牲畜追踪和精准农业提供支持,从而提高产量并实现更智能的生产。
了解详情

让我们携手构建 AI 的未来!

开启你的旅程,迎接机器学习的未来