Identity Mapping
恒等映射通过捷径将区块输入原样传递,并与输出相加,使梯度能够传回深层网络的早期层。
在深度学习中,恒等映射是一种连接,它会将模块的输入原样向前传递,并与模块输出相加,因此模块计算的是 y = x + F(x),而不是 y = F(x)。该名称来自恒等函数 f(x) = x。Kaiming He、Xiangyu Zhang、Shaoqing Ren 和 Jian Sun 于 2015 年基于这种恒等捷径构建了残差网络 (ResNet),并凭借一个 152 层网络赢得当年的 ImageNet 分类挑战。如今,恒等捷径几乎遍布所有深度架构,从卷积神经网络 (CNN)到每个Transformer的残差流。
恒等映射为何能让深层网络可训练#
在 ResNet 出现之前,增加网络层数往往会让网络表现变差。He 及其同事发现,在 CIFAR-10 上,56 层普通网络的训练误差高于 20 层网络,因此额外深度本身反而损害了优化;他们将这一问题称为退化。深层网络只要将额外层设为恒等映射,就总能达到浅层网络的效果,但多层非线性网络难以学会恒等映射。残差模块只需学习与输入的差值 F(x) = H(x) - x;让 F 趋近于零,就能恢复恒等映射。
这条捷径还会改变反向传播。由于 y = x + F(x),y 对 x 的导数为 1 加上 F 的导数,其中的常数 1 会让梯度沿着每个模块直接向后传递。在普通网络堆叠中,梯度是多个逐层因子的乘积;当这些因子小于 1 时,梯度会呈指数级缩小,这就是梯度消失问题。使用 PyTorch让同样的 50 层网络分别在有捷径和无捷径的情况下运行,可以看出两者的差异:
import torch
from torch import nn
torch.manual_seed(0)
# 50 identical-shape layers, reused for a plain and a residual stack
layers = [nn.Sequential(nn.Linear(64, 64), nn.Tanh()) for _ in range(50)]
x = torch.randn(32, 64, requires_grad=True)
for residual in (False, True):
h = x
for layer in layers:
h = h + layer(h) if residual else layer(h) # identity shortcut adds the input back
loss = h.square().mean()
(grad,) = torch.autograd.grad(loss, x)
print(f"residual={residual}: gradient norm at the input {grad.norm():.1e}")它会输出普通网络堆叠在输入处的梯度范数 1.1e-15,以及使用相同权重构建的残差网络堆叠的梯度范数 2.8e+00。如果没有捷径,这个网络的前几层几乎无法收到训练信号。
保持捷径不变#
在 2016 年的后续研究深度残差网络中的恒等映射中,同一批作者测试了对 x 进行缩放、门控、卷积或 dropout 的捷径,而每种变体的训练效果都不如纯恒等映射。他们还将批归一化和激活函数移到残差分支内部、权重之前,使模块之间的信号不受任何处理。这种预激活设计让一个 1,001 层 ResNet 在 CIFAR-10 上达到 4.62% 的错误率,并训练了一个 200 层 ResNet 用于 ImageNet。现代 Transformer 也遵循同一原则,采用预归一化模块,在每个注意力分支和前馈分支内部执行归一化,同时保持残差流本身不变。
恒等捷径要求输入和输出形状相同。如果模块改变通道数或进行下采样,ResNet 会改用投影捷径,通常是一个步幅匹配的 1 x 1 卷积:
Ultralytics YOLO26在骨干网络和颈部网络中都使用恒等捷径:每个 C3k2 模块都由多个瓶颈模块组成;只要输入和输出通道数一致,瓶颈模块就会返回 x 与两次 3 x 3 卷积输出之和。SPPF 模块也会以相同方式将输入加到池化输出上。
恒等初始化#
一个模块也可以从恒等映射开始。将每个残差分支中最后一个批归一化层的缩放参数设为零,会使初始化时 F(x) = 0,因此深层网络开始训练时就像浅层网络一样;Priya Goyal 及其同事用这种方法在一小时内通过大批量训练了 ImageNet 上的 ResNet-50,而 torchvision 将其提供为 zero_init_residual=True。ReZero 于 2020 年提出,它将每个残差分支乘以一个初始值为零的可学习标量。
PyTorch 的 nn.Identity 模块是一个没有参数的恒等映射。像 model.fc = nn.Identity() 中那样用它替换分类头,会将一个图像分类网络变成特征提取模型,并返回倒数第二层的嵌入。
相关术语#
跳跃连接是指任何绕过层的路径。残差连接是其中采用相加方式的一种,而恒等映射则是路径不应用任何变换的残差连接。U-Net 和 DenseNet 使用的跳跃连接会拼接较早的特征图,而不是将它们相加。身份保持是生成式 AI 和跟踪领域中的另一个无关术语,指生成或跟踪的人物在不同图像或视频帧中始终保持相同且可辨认的外观。










