Identity Mapping
O mapeamento de identidade encaminha a entrada de um bloco sem alterações através de uma ligação de atalho e adiciona-a à saída, permitindo que os gradientes cheguem às camadas iniciais de redes profundas.
Na aprendizagem profunda, uma identidade é uma ligação que transporta inalterada a entrada de um bloco e a adiciona à saída do bloco, fazendo com que este calcule y = x + F(x) em vez de y = F(x). O nome deriva da função identidade, f(x) = x. Em 2015, Kaiming He, Xiangyu Zhang, Shaoqing Ren e Jian Sun construíram as redes residuais (ResNet) com estas ligações de identidade e venceram o desafio de classificação ImageNet desse ano com uma rede de 152 camadas. Atualmente, as ligações de identidade estão presentes em quase todas as arquiteturas profundas, desde as redes neuronais convolucionais (CNNs) até ao fluxo residual de cada transformer.
Porque é que as identidades tornam treináveis as redes profundas#
Antes da ResNet, acrescentar camadas muitas vezes piorava as redes. He e colegas descobriram que uma rede simples com 56 camadas tinha um erro de treino superior ao de uma rede com 20 camadas no CIFAR-10, pelo que a profundidade adicional prejudicava a própria otimização; chamaram a este problema degradação. Uma rede mais profunda consegue sempre igualar uma menos profunda definindo as camadas adicionais como identidades, mas as pilhas de camadas não lineares têm dificuldade em aprender a identidade. Um bloco residual só tem de aprender a diferença F(x) = H(x) - x em relação à entrada; fazer F tender para zero recupera a identidade.
A ligação de atalho também altera a retropropagação. Como y = x + F(x), a derivada de y em relação a x é 1 mais a derivada de F, e essa constante 1 transmite o gradiente diretamente para trás através de cada bloco. Numa pilha simples, o gradiente é um produto de vários fatores, um por camada; quando esses fatores são inferiores a 1, o resultado diminui exponencialmente, causando o problema do gradiente evanescente. Executar as mesmas 50 camadas com e sem atalhos em PyTorch demonstra a diferença:
import torch
from torch import nn
torch.manual_seed(0)
# 50 identical-shape layers, reused for a plain and a residual stack
layers = [nn.Sequential(nn.Linear(64, 64), nn.Tanh()) for _ in range(50)]
x = torch.randn(32, 64, requires_grad=True)
for residual in (False, True):
h = x
for layer in layers:
h = h + layer(h) if residual else layer(h) # identity shortcut adds the input back
loss = h.square().mean()
(grad,) = torch.autograd.grad(loss, x)
print(f"residual={residual}: gradient norm at the input {grad.norm():.1e}")Imprime uma norma do gradiente de 1.1e-15 na entrada da pilha simples e de 2.8e+00 na pilha residual construída com os mesmos pesos. Sem atalhos, as primeiras camadas desta rede receberiam quase nenhum sinal de treino.
Manter o atalho limpo#
No artigo de acompanhamento de 2016, Identidades em redes residuais profundas, os mesmos autores testaram atalhos que escalam, controlam, aplicam convolução ou dropout a x, e todas as variantes tiveram um desempenho de treino pior do que uma identidade pura. Também moveram a normalização por lotes e a função de ativação para dentro do ramo residual, antes dos pesos, para que nada altere o sinal entre blocos. Este desenho com pré-ativação treinou uma ResNet de 1,001 camadas no CIFAR-10 até um erro de 4.62% e uma ResNet de 200 camadas no ImageNet. Os transformers modernos seguem a mesma regra com blocos de pré-normalização, que aplicam a normalização dentro de cada ramo de atenção e de propagação para a frente, deixando intacto o próprio fluxo residual.
Um atalho de identidade exige que a entrada e a saída tenham a mesma forma. Quando um bloco altera o número de canais ou reduz a resolução, a ResNet substitui o atalho por uma projeção, normalmente uma convolução 1 x 1 com stride correspondente:
O Ultralytics YOLO26 usa atalhos de identidade em todo o backbone e neck: cada bloco C3k2 é composto por bottlenecks que devolvem x mais a saída de duas convoluções 3 x 3 sempre que os canais de entrada e saída coincidem, e o bloco SPPF adiciona a entrada à respetiva saída agrupada da mesma forma.
Inicialização por identidade#
Um bloco também pode começar como uma identidade. Definir a escala da última camada de normalização em lote de cada ramo residual como zero faz com que F(x) = 0 na inicialização, de modo que uma rede profunda começa o treinamento como se fosse rasa; Priya Goyal e colegas usaram isso para treinar a ResNet-50 no ImageNet em uma hora com lotes grandes, e o torchvision disponibiliza esse recurso como zero_init_residual=True. O ReZero, proposto em 2020, multiplica cada ramo residual por um escalar treinável que começa em zero.
O módulo nn.Identity do PyTorch é um mapeamento de identidade literal, sem parâmetros. Substituir uma cabeça de classificação por ele, como em model.fc = nn.Identity(), transforma uma rede de classificação de imagens em um modelo de extração de características que retorna seus embeddings da penúltima camada.
Termos relacionados#
Conexão de atalho é o termo mais amplo para qualquer caminho que contorna camadas. Uma conexão residual é do tipo aditivo, e um mapeamento de identidade é uma conexão residual cujo caminho não aplica nenhuma transformação. A U-Net e a DenseNet usam conexões de atalho que concatenam mapas de características anteriores em vez de somá-los. Preservação de identidade é um termo não relacionado, usado em IA generativa e rastreamento, que significa que uma pessoa gerada ou rastreada mantém a mesma aparência reconhecível em imagens ou quadros de vídeo.










