Identity Mapping
La mappatura identità inoltra invariato l'input di un blocco attraverso una connessione di collegamento e lo somma all'output, consentendo ai gradienti di raggiungere i primi strati delle reti profonde.
Nel deep learning, una mappatura identità è una connessione che trasmette invariato l'input di un blocco e lo somma all'output del blocco, perciò il blocco calcola y = x + F(x) anziché y = F(x). Il nome deriva dalla funzione identità, f(x) = x. Nel 2015 Kaiming He, Xiangyu Zhang, Shaoqing Ren e Jian Sun hanno basato le reti residue (ResNet) su queste connessioni identità e hanno vinto la sfida di classificazione ImageNet di quell'anno con una rete a 152 strati. Oggi le connessioni identità attraversano quasi tutte le architetture profonde, dalle reti neurali convoluzionali (CNN) al flusso residuo di ogni transformer.
Perché le mappature identità rendono addestrabili le reti profonde#
Prima di ResNet, aggiungere strati spesso peggiorava le reti. He e colleghi hanno scoperto che una rete semplice a 56 strati aveva un errore di addestramento su CIFAR-10 maggiore di una a 20 strati: la profondità aggiuntiva peggiorava l'ottimizzazione stessa, un problema che hanno chiamato degradazione. Una rete più profonda può sempre eguagliare una più superficiale impostando su identità i suoi strati aggiuntivi, ma le sequenze di strati non lineari faticano ad apprendere l'identità. Un blocco residuo deve solo apprendere la differenza F(x) = H(x) - x rispetto al proprio input; portare F verso zero recupera la funzione identità.
La connessione di salto modifica anche la retropropagazione. Poiché y = x + F(x), la derivata di y rispetto a x è 1 più la derivata di F, e quel valore costante 1 trasmette direttamente il gradiente attraverso ogni blocco. In una sequenza semplice, il gradiente è il prodotto di molti fattori per strato; quando questi fattori sono inferiori a 1, il risultato si riduce esponenzialmente: è il problema del gradiente evanescente. Eseguire gli stessi 50 strati con e senza connessioni di salto in PyTorch mostra la differenza:
import torch
from torch import nn
torch.manual_seed(0)
# 50 identical-shape layers, reused for a plain and a residual stack
layers = [nn.Sequential(nn.Linear(64, 64), nn.Tanh()) for _ in range(50)]
x = torch.randn(32, 64, requires_grad=True)
for residual in (False, True):
h = x
for layer in layers:
h = h + layer(h) if residual else layer(h) # identity shortcut adds the input back
loss = h.square().mean()
(grad,) = torch.autograd.grad(loss, x)
print(f"residual={residual}: gradient norm at the input {grad.norm():.1e}")Stampa una norma del gradiente pari a 1.1e-15 all'input per la sequenza semplice e a 2.8e+00 per la sequenza residua costruita con gli stessi pesi. Senza connessioni di salto, i primi strati di questa rete riceverebbero un segnale di addestramento quasi nullo.
Mantenere pulita la connessione di salto#
Nel loro seguito del 2016, Mappature identità nelle reti residue profonde, gli stessi autori hanno testato connessioni di salto che scalano, controllano tramite gate, convolvono o applicano dropout a x; ogni variante si è addestrata peggio di una pura identità. Hanno inoltre spostato la normalizzazione del batch e la funzione di attivazione all'interno del ramo residuo, prima dei pesi, in modo che nulla alteri il segnale tra i blocchi. Questa architettura con pre-attivazione ha addestrato una ResNet a 1.001 strati su CIFAR-10 con un errore del 4,62% e una ResNet a 200 strati su ImageNet. I transformer moderni seguono la stessa regola con blocchi pre-norm, che applicano la normalizzazione all'interno di ogni ramo di attenzione e feed-forward, lasciando inalterato il flusso residuo.
Una connessione identità richiede che input e output abbiano la stessa forma. Quando un blocco modifica il numero di canali o riduce il campionamento, ResNet sostituisce la connessione identità con una connessione di proiezione, in genere una convoluzione 1 x 1 con stride corrispondente:
Ultralytics YOLO26 usa connessioni identità in tutto il backbone e il neck: ogni blocco C3k2 è composto da colli di bottiglia che restituiscono x più l'output di due convoluzioni 3 x 3 quando i canali di input e output coincidono; il blocco SPPF aggiunge allo stesso modo il proprio input al risultato del pooling.
Inizializzazione dell'identità#
Un blocco può anche iniziare come identità. Impostando a zero la scala dell'ultimo livello di normalizzazione batch in ciascun ramo residuo, F(x) = 0 all'inizializzazione, così una rete profonda inizia l'addestramento come se fosse superficiale; Priya Goyal e i colleghi hanno usato questa tecnica per addestrare ResNet-50 su ImageNet in un'ora con batch di grandi dimensioni, e torchvision la espone come zero_init_residual=True. ReZero, proposto nel 2020, moltiplica ogni ramo residuo per uno scalare apprendibile inizializzato a zero.
Il modulo nn.Identity di PyTorch è una mappa identità letterale senza parametri. Sostituire con esso una testa di classificazione, come in model.fc = nn.Identity(), trasforma una rete di classificazione delle immagini in un modello di estrazione di caratteristiche che restituisce gli embedding del penultimo livello.
Termini correlati#
Connessione skip è il termine più ampio per qualsiasi percorso che aggira alcuni livelli. Una connessione residua è il tipo additivo, mentre una mappatura identità è una connessione residua il cui percorso non applica alcuna trasformazione. U-Net e DenseNet usano connessioni skip che concatenano le mappe delle caratteristiche precedenti invece di sommarle. Conservazione dell'identità è un termine non correlato, usato nell'IA generativa e nel tracking, che indica che una persona generata o tracciata mantiene lo stesso aspetto riconoscibile tra immagini o fotogrammi video.










