Licenciar o YOLO
Voltar ao glossário da Ultralytics

Identity Mapping

O mapeamento de identidade encaminha a entrada de um bloco sem alterações através de uma ligação de atalho e adiciona-a à saída, permitindo que os gradientes cheguem às camadas iniciais de redes profundas.

Na aprendizagem profunda, uma identidade é uma ligação que transporta inalterada a entrada de um bloco e a adiciona à saída do bloco, fazendo com que este calcule y = x + F(x) em vez de y = F(x). O nome deriva da função identidade, f(x) = x. Em 2015, Kaiming He, Xiangyu Zhang, Shaoqing Ren e Jian Sun construíram as redes residuais (ResNet) com estas ligações de identidade e venceram o desafio de classificação ImageNet desse ano com uma rede de 152 camadas. Atualmente, as ligações de identidade estão presentes em quase todas as arquiteturas profundas, desde as redes neuronais convolucionais (CNNs) até ao fluxo residual de cada transformer.

Porque é que as identidades tornam treináveis as redes profundas#

Antes da ResNet, acrescentar camadas muitas vezes piorava as redes. He e colegas descobriram que uma rede simples com 56 camadas tinha um erro de treino superior ao de uma rede com 20 camadas no CIFAR-10, pelo que a profundidade adicional prejudicava a própria otimização; chamaram a este problema degradação. Uma rede mais profunda consegue sempre igualar uma menos profunda definindo as camadas adicionais como identidades, mas as pilhas de camadas não lineares têm dificuldade em aprender a identidade. Um bloco residual só tem de aprender a diferença F(x) = H(x) - x em relação à entrada; fazer F tender para zero recupera a identidade.

A ligação de atalho também altera a retropropagação. Como y = x + F(x), a derivada de y em relação a x é 1 mais a derivada de F, e essa constante 1 transmite o gradiente diretamente para trás através de cada bloco. Numa pilha simples, o gradiente é um produto de vários fatores, um por camada; quando esses fatores são inferiores a 1, o resultado diminui exponencialmente, causando o problema do gradiente evanescente. Executar as mesmas 50 camadas com e sem atalhos em PyTorch demonstra a diferença:

import torch
from torch import nn

torch.manual_seed(0)
# 50 identical-shape layers, reused for a plain and a residual stack
layers = [nn.Sequential(nn.Linear(64, 64), nn.Tanh()) for _ in range(50)]
x = torch.randn(32, 64, requires_grad=True)

for residual in (False, True):
    h = x
    for layer in layers:
        h = h + layer(h) if residual else layer(h)  # identity shortcut adds the input back
    loss = h.square().mean()
    (grad,) = torch.autograd.grad(loss, x)
    print(f"residual={residual}: gradient norm at the input {grad.norm():.1e}")

Imprime uma norma do gradiente de 1.1e-15 na entrada da pilha simples e de 2.8e+00 na pilha residual construída com os mesmos pesos. Sem atalhos, as primeiras camadas desta rede receberiam quase nenhum sinal de treino.

Manter o atalho limpo#

No artigo de acompanhamento de 2016, Identidades em redes residuais profundas, os mesmos autores testaram atalhos que escalam, controlam, aplicam convolução ou dropout a x, e todas as variantes tiveram um desempenho de treino pior do que uma identidade pura. Também moveram a normalização por lotes e a função de ativação para dentro do ramo residual, antes dos pesos, para que nada altere o sinal entre blocos. Este desenho com pré-ativação treinou uma ResNet de 1,001 camadas no CIFAR-10 até um erro de 4.62% e uma ResNet de 200 camadas no ImageNet. Os transformers modernos seguem a mesma regra com blocos de pré-normalização, que aplicam a normalização dentro de cada ramo de atenção e de propagação para a frente, deixando intacto o próprio fluxo residual.

Um atalho de identidade exige que a entrada e a saída tenham a mesma forma. Quando um bloco altera o número de canais ou reduz a resolução, a ResNet substitui o atalho por uma projeção, normalmente uma convolução 1 x 1 com stride correspondente:

O Ultralytics YOLO26 usa atalhos de identidade em todo o backbone e neck: cada bloco C3k2 é composto por bottlenecks que devolvem x mais a saída de duas convoluções 3 x 3 sempre que os canais de entrada e saída coincidem, e o bloco SPPF adiciona a entrada à respetiva saída agrupada da mesma forma.

Inicialização por identidade#

Um bloco também pode começar como uma identidade. Definir a escala da última camada de normalização em lote de cada ramo residual como zero faz com que F(x) = 0 na inicialização, de modo que uma rede profunda começa o treinamento como se fosse rasa; Priya Goyal e colegas usaram isso para treinar a ResNet-50 no ImageNet em uma hora com lotes grandes, e o torchvision disponibiliza esse recurso como zero_init_residual=True. O ReZero, proposto em 2020, multiplica cada ramo residual por um escalar treinável que começa em zero.

O módulo nn.Identity do PyTorch é um mapeamento de identidade literal, sem parâmetros. Substituir uma cabeça de classificação por ele, como em model.fc = nn.Identity(), transforma uma rede de classificação de imagens em um modelo de extração de características que retorna seus embeddings da penúltima camada.

Conexão de atalho é o termo mais amplo para qualquer caminho que contorna camadas. Uma conexão residual é do tipo aditivo, e um mapeamento de identidade é uma conexão residual cujo caminho não aplica nenhuma transformação. A U-Net e a DenseNet usam conexões de atalho que concatenam mapas de características anteriores em vez de somá-los. Preservação de identidade é um termo não relacionado, usado em IA generativa e rastreamento, que significa que uma pessoa gerada ou rastreada mantém a mesma aparência reconhecível em imagens ou quadros de vídeo.

Explore as soluções

Visão computacional no desporto

Visão computacional no desporto

Descubra como o Ultralytics YOLO impulsiona a visão computacional no esporte com rastreamento de jogadores e bolas, análise de desempenho, insights para treinadores e reabilitação de atletas.
Saiba mais
Visão computacional para imagens aéreas

Visão computacional para imagens aéreas

Transforma imagens de drones e aéreas em informações em tempo real para a agricultura, a aquacultura, a conservação e a análise geoespacial com Ultralytics YOLO.
Saiba mais
Visão computacional no setor aeroespacial

Visão computacional no setor aeroespacial

Aplica visão computacional na indústria aeroespacial com Ultralytics YOLO para inspecionar aeronaves, detetar objetos estranhos na pista (FOD), apoiar operações aeroportuárias em terra e detetar defeitos em materiais compósitos.
Saiba mais
Visão computacional na segurança

Visão computacional na segurança

Protege todas as instalações com os modelos Ultralytics YOLO. A IA visual permite monitorizar perímetros, detetar ameaças, reconhecer matrículas e melhorar a segurança no local de trabalho.
Saiba mais
Visão computacional na robótica

Visão computacional na robótica

Potencia máquinas mais inteligentes com os modelos Ultralytics YOLO. A IA visual na robótica permite navegação autónoma, perceção, rastreamento de objetos e controlo em tempo real.
Saiba mais
Visão computacional na logística

Visão computacional na logística

Otimize a logística com os modelos Ultralytics YOLO. A IA de visão permite inspecionar pacotes, fazer triagem, rastrear veículos e monitorar a segurança em tempo real nos armazéns.
Saiba mais
Visão computacional no varejo

Visão computacional no varejo

Reinvente o varejo com os modelos Ultralytics YOLO. A IA de visão permite rastrear o estoque, monitorar prateleiras, gerenciar filas e obter insights mais inteligentes sobre clientes.
Saiba mais
Visão computacional na área da saúde

Visão computacional na área da saúde

Desenvolva soluções de saúde com os modelos Ultralytics YOLO. A IA de visão na área da saúde permite obter imagens médicas mais rapidamente, diagnósticos mais inteligentes e monitoramento de pacientes.
Saiba mais
Visão computacional na manufatura

Visão computacional na manufatura

Otimize a manufatura com modelos Ultralytics YOLO. A IA visual impulsiona o controle de qualidade, a detecção de defeitos, a conformidade com o uso de EPI e a automação da linha de montagem.
Saiba mais
Visão computacional no setor automotivo

Visão computacional no setor automotivo

Aplique visão computacional no setor automotivo com modelos Ultralytics YOLO. A IA visual aumenta a segurança viária, aprimora a assistência ao condutor e viabiliza a automação de veículos para estradas mais inteligentes.
Saiba mais
Visão computacional na agricultura

Visão computacional na agricultura

Leve a IA de visão à agricultura inteligente com os modelos Ultralytics YOLO. Aprimore o monitoramento de plantações, o rastreamento de animais e a agricultura de precisão para obter safras maiores e mais inteligentes.
Saiba mais

Vamos construir juntos o futuro da IA!

Comece sua jornada rumo ao futuro do aprendizado de máquina