Licenza YOLO
Torna al glossario di Ultralytics

Identity Mapping

La mappatura identità inoltra invariato l'input di un blocco attraverso una connessione di collegamento e lo somma all'output, consentendo ai gradienti di raggiungere i primi strati delle reti profonde.

Nel deep learning, una mappatura identità è una connessione che trasmette invariato l'input di un blocco e lo somma all'output del blocco, perciò il blocco calcola y = x + F(x) anziché y = F(x). Il nome deriva dalla funzione identità, f(x) = x. Nel 2015 Kaiming He, Xiangyu Zhang, Shaoqing Ren e Jian Sun hanno basato le reti residue (ResNet) su queste connessioni identità e hanno vinto la sfida di classificazione ImageNet di quell'anno con una rete a 152 strati. Oggi le connessioni identità attraversano quasi tutte le architetture profonde, dalle reti neurali convoluzionali (CNN) al flusso residuo di ogni transformer.

Perché le mappature identità rendono addestrabili le reti profonde#

Prima di ResNet, aggiungere strati spesso peggiorava le reti. He e colleghi hanno scoperto che una rete semplice a 56 strati aveva un errore di addestramento su CIFAR-10 maggiore di una a 20 strati: la profondità aggiuntiva peggiorava l'ottimizzazione stessa, un problema che hanno chiamato degradazione. Una rete più profonda può sempre eguagliare una più superficiale impostando su identità i suoi strati aggiuntivi, ma le sequenze di strati non lineari faticano ad apprendere l'identità. Un blocco residuo deve solo apprendere la differenza F(x) = H(x) - x rispetto al proprio input; portare F verso zero recupera la funzione identità.

La connessione di salto modifica anche la retropropagazione. Poiché y = x + F(x), la derivata di y rispetto a x è 1 più la derivata di F, e quel valore costante 1 trasmette direttamente il gradiente attraverso ogni blocco. In una sequenza semplice, il gradiente è il prodotto di molti fattori per strato; quando questi fattori sono inferiori a 1, il risultato si riduce esponenzialmente: è il problema del gradiente evanescente. Eseguire gli stessi 50 strati con e senza connessioni di salto in PyTorch mostra la differenza:

import torch
from torch import nn

torch.manual_seed(0)
# 50 identical-shape layers, reused for a plain and a residual stack
layers = [nn.Sequential(nn.Linear(64, 64), nn.Tanh()) for _ in range(50)]
x = torch.randn(32, 64, requires_grad=True)

for residual in (False, True):
    h = x
    for layer in layers:
        h = h + layer(h) if residual else layer(h)  # identity shortcut adds the input back
    loss = h.square().mean()
    (grad,) = torch.autograd.grad(loss, x)
    print(f"residual={residual}: gradient norm at the input {grad.norm():.1e}")

Stampa una norma del gradiente pari a 1.1e-15 all'input per la sequenza semplice e a 2.8e+00 per la sequenza residua costruita con gli stessi pesi. Senza connessioni di salto, i primi strati di questa rete riceverebbero un segnale di addestramento quasi nullo.

Mantenere pulita la connessione di salto#

Nel loro seguito del 2016, Mappature identità nelle reti residue profonde, gli stessi autori hanno testato connessioni di salto che scalano, controllano tramite gate, convolvono o applicano dropout a x; ogni variante si è addestrata peggio di una pura identità. Hanno inoltre spostato la normalizzazione del batch e la funzione di attivazione all'interno del ramo residuo, prima dei pesi, in modo che nulla alteri il segnale tra i blocchi. Questa architettura con pre-attivazione ha addestrato una ResNet a 1.001 strati su CIFAR-10 con un errore del 4,62% e una ResNet a 200 strati su ImageNet. I transformer moderni seguono la stessa regola con blocchi pre-norm, che applicano la normalizzazione all'interno di ogni ramo di attenzione e feed-forward, lasciando inalterato il flusso residuo.

Una connessione identità richiede che input e output abbiano la stessa forma. Quando un blocco modifica il numero di canali o riduce il campionamento, ResNet sostituisce la connessione identità con una connessione di proiezione, in genere una convoluzione 1 x 1 con stride corrispondente:

Ultralytics YOLO26 usa connessioni identità in tutto il backbone e il neck: ogni blocco C3k2 è composto da colli di bottiglia che restituiscono x più l'output di due convoluzioni 3 x 3 quando i canali di input e output coincidono; il blocco SPPF aggiunge allo stesso modo il proprio input al risultato del pooling.

Inizializzazione dell'identità#

Un blocco può anche iniziare come identità. Impostando a zero la scala dell'ultimo livello di normalizzazione batch in ciascun ramo residuo, F(x) = 0 all'inizializzazione, così una rete profonda inizia l'addestramento come se fosse superficiale; Priya Goyal e i colleghi hanno usato questa tecnica per addestrare ResNet-50 su ImageNet in un'ora con batch di grandi dimensioni, e torchvision la espone come zero_init_residual=True. ReZero, proposto nel 2020, moltiplica ogni ramo residuo per uno scalare apprendibile inizializzato a zero.

Il modulo nn.Identity di PyTorch è una mappa identità letterale senza parametri. Sostituire con esso una testa di classificazione, come in model.fc = nn.Identity(), trasforma una rete di classificazione delle immagini in un modello di estrazione di caratteristiche che restituisce gli embedding del penultimo livello.

Connessione skip è il termine più ampio per qualsiasi percorso che aggira alcuni livelli. Una connessione residua è il tipo additivo, mentre una mappatura identità è una connessione residua il cui percorso non applica alcuna trasformazione. U-Net e DenseNet usano connessioni skip che concatenano le mappe delle caratteristiche precedenti invece di sommarle. Conservazione dell'identità è un termine non correlato, usato nell'IA generativa e nel tracking, che indica che una persona generata o tracciata mantiene lo stesso aspetto riconoscibile tra immagini o fotogrammi video.

Esplora le soluzioni

La visione artificiale nello sport

La visione artificiale nello sport

Scopri come Ultralytics YOLO alimenta la computer vision nello sport con il tracciamento di giocatori e palloni, l'analisi delle prestazioni, gli approfondimenti per gli allenatori e la riabilitazione degli atleti.
Scopri di più
Computer vision per immagini aeree

Computer vision per immagini aeree

Trasforma immagini aeree e riprese da drone in informazioni utili in tempo reale per agricoltura, acquacoltura, conservazione e analisi geospaziale con Ultralytics YOLO.
Scopri di più
Computer vision nel settore aerospaziale

Computer vision nel settore aerospaziale

Applica la visione artificiale nel settore aerospaziale con Ultralytics YOLO per l'ispezione degli aeromobili, il rilevamento di FOD sulle piste, le operazioni di terra aeroportuali e il rilevamento di difetti nei materiali compositi.
Scopri di più
Visione artificiale nella sicurezza

Visione artificiale nella sicurezza

Proteggi ogni sito con i modelli Ultralytics YOLO. L'IA visiva alimenta il monitoraggio perimetrale, il rilevamento delle minacce, il riconoscimento delle targhe e la sicurezza sul lavoro.
Scopri di più
Visione artificiale nella robotica

Visione artificiale nella robotica

Dai più potenza alle macchine intelligenti con i modelli Ultralytics YOLO. Nell'ambito della robotica, l'IA visiva alimenta la navigazione autonoma, la percezione, il tracciamento degli oggetti e il controllo in tempo reale.
Scopri di più
Visione artificiale nella logistica

Visione artificiale nella logistica

Semplifica la logistica con i modelli Ultralytics YOLO. L'IA per la visione consente l'ispezione dei pacchi, la selezione, il tracciamento dei veicoli e il monitoraggio della sicurezza nei magazzini in tempo reale.
Scopri di più
Visione artificiale nel commercio al dettaglio

Visione artificiale nel commercio al dettaglio

Ripensa il commercio al dettaglio con i modelli Ultralytics YOLO. L'IA per la visione consente di tracciare le scorte, monitorare gli scaffali, gestire le code e ottenere informazioni più approfondite sui clienti.
Scopri di più
Visione artificiale in ambito sanitario

Visione artificiale in ambito sanitario

Crea soluzioni sanitarie con i modelli Ultralytics YOLO. In ambito sanitario, l'IA per la visione consente di elaborare più rapidamente le immagini mediche, migliorare la diagnostica e monitorare i pazienti.
Scopri di più
Computer vision nella produzione

Computer vision nella produzione

Ottimizza la produzione con i modelli Ultralytics YOLO. La visione basata sull'IA migliora il controllo qualità, il rilevamento dei difetti, la conformità ai requisiti sui DPI e l'automazione delle linee di assemblaggio.
Scopri di più
Computer vision nel settore automobilistico

Computer vision nel settore automobilistico

Applica la computer vision al settore automobilistico con i modelli Ultralytics YOLO. La visione basata sull'IA migliora la sicurezza stradale, i sistemi di assistenza alla guida e l'automazione dei veicoli, per strade più intelligenti.
Scopri di più
Visione artificiale in agricoltura

Visione artificiale in agricoltura

Porta l'IA visiva nell'agricoltura intelligente con i modelli Ultralytics YOLO. Gestisci il monitoraggio delle colture, il tracciamento del bestiame e l'agricoltura di precisione per ottenere raccolti più abbondanti e intelligenti.
Scopri di più

Costruiamo insieme il futuro dell'IA!

Inizia il tuo percorso verso il futuro del machine learning