Identity Mapping
Le mappage identité transmet sans modification l’entrée d’un bloc par une connexion raccourcie, puis l’ajoute à la sortie, afin que les gradients atteignent les premières couches des réseaux profonds.
En apprentissage profond, une connexion identité transmet sans modification l’entrée d’un bloc et l’ajoute à sa sortie : le bloc calcule donc y = x + F(x) plutôt que y = F(x). Le nom vient de la fonction identité, f(x) = x. Kaiming He, Xiangyu Zhang, Shaoqing Ren et Jian Sun ont fondé les réseaux résiduels (ResNet) sur ces connexions raccourcies identité en 2015. Ils ont remporté le défi de classification ImageNet de cette année-là avec un réseau de 152 couches. Les connexions raccourcies identité sont désormais présentes dans presque toutes les architectures profondes, des réseaux neuronaux convolutifs (CNNs) au flux résiduel de chaque Transformer.
Pourquoi les connexions identité permettent d’entraîner des réseaux profonds#
Avant ResNet, l’ajout de couches dégradait souvent les réseaux. He et ses collègues ont constaté qu’un réseau classique de 56 couches avait une erreur d’entraînement plus élevée sur CIFAR-10 qu’un réseau de 20 couches : la profondeur supplémentaire nuisait donc à l’optimisation elle-même, un problème qu’ils ont appelé dégradation. Un réseau plus profond peut toujours égaler un réseau moins profond en définissant ses couches supplémentaires comme des fonctions identité, mais les empilements de couches non linéaires ont du mal à apprendre l’identité. Un bloc résiduel doit seulement apprendre la différence F(x) = H(x) - x par rapport à son entrée. En faisant tendre F vers zéro, il retrouve la fonction identité.
La connexion raccourcie modifie aussi la rétropropagation. Comme y = x + F(x), la dérivée de y par rapport à x est égale à 1 plus la dérivée de F, et cette constante 1 transmet directement le gradient à travers chaque bloc. Dans un réseau classique, le gradient est le produit de nombreux facteurs propres aux couches. Lorsque ces facteurs sont inférieurs à 1, le résultat diminue de façon exponentielle : c’est le problème du gradient évanescent. La comparaison des mêmes 50 couches avec et sans connexions raccourcies dans PyTorch montre la différence :
import torch
from torch import nn
torch.manual_seed(0)
# 50 identical-shape layers, reused for a plain and a residual stack
layers = [nn.Sequential(nn.Linear(64, 64), nn.Tanh()) for _ in range(50)]
x = torch.randn(32, 64, requires_grad=True)
for residual in (False, True):
h = x
for layer in layers:
h = h + layer(h) if residual else layer(h) # identity shortcut adds the input back
loss = h.square().mean()
(grad,) = torch.autograd.grad(loss, x)
print(f"residual={residual}: gradient norm at the input {grad.norm():.1e}")Le code affiche une norme de gradient de 1.1e-15 à l’entrée pour le réseau classique et de 2.8e+00 pour le réseau résiduel construit avec les mêmes poids. Sans connexions raccourcies, les premières couches de ce réseau ne recevraient presque aucun signal d’entraînement.
Préserver la pureté de la connexion raccourcie#
Dans leur étude de suivi de 2016, Identity Mappings in Deep Residual Networks, les mêmes auteurs ont testé des connexions raccourcies qui mettent à l’échelle, filtrent, convoluent ou appliquent une extinction à x. Toutes les variantes se sont entraînées moins bien qu’une fonction identité pure. Ils ont également déplacé la normalisation par lots et la fonction d’activation à l’intérieur de la branche résiduelle, avant les poids, de sorte que rien ne modifie le signal entre les blocs. Cette conception à préactivation a permis d’entraîner un ResNet de 1 001 couches sur CIFAR-10 avec un taux d’erreur de 4,62 %, ainsi qu’un ResNet de 200 couches sur ImageNet. Les Transformer modernes suivent la même règle avec des blocs à pré-normalisation, qui appliquent la normalisation à l’intérieur de chaque branche d’attention et d’anticipation, sans toucher au flux résiduel lui-même.
Une connexion raccourcie identité exige que l’entrée et la sortie aient la même forme. Lorsqu’un bloc modifie le nombre de canaux ou réduit la résolution, ResNet remplace la connexion raccourcie par une projection, généralement une convolution 1 x 1 avec un pas correspondant :
Ultralytics YOLO26 utilise des connexions raccourcies identité dans tout son backbone et son neck : chaque bloc C3k2 est composé de goulots d’étranglement qui renvoient x plus la sortie de deux convolutions 3 x 3 lorsque le nombre de canaux d’entrée et de sortie correspond. Son bloc SPPF ajoute de la même manière son entrée à sa sortie regroupée.
Initialisation par identité#
Un bloc peut aussi commencer comme une identité. Mettre à zéro l’échelle de la dernière couche de normalisation par lots de chaque branche résiduelle fait que F(x) = 0 à l’initialisation ; un réseau profond commence alors l’entraînement comme s’il était peu profond. Priya Goyal et ses collègues ont utilisé cette méthode pour entraîner ResNet-50 sur ImageNet en une heure avec de grands lots, et torchvision la propose sous la forme de zero_init_residual=True. ReZero, proposé en 2020, multiplie chaque branche résiduelle par un scalaire apprenable qui commence à zéro.
Le module nn.Identity de PyTorch est une application identité au sens strict, sans paramètres. Remplacer une tête de classification par ce module, comme dans model.fc = nn.Identity(), transforme un réseau de classification d’images en modèle d’extraction de caractéristiques qui renvoie ses embeddings de l’avant-dernière couche.
Termes associés#
Une connexion raccourcie est le terme général désignant tout chemin qui contourne des couches. Une connexion résiduelle est une connexion additive, et une application identité est une connexion résiduelle dont le chemin n’applique aucune transformation. U-Net et DenseNet utilisent des connexions raccourcies qui concatènent des cartes de caractéristiques antérieures au lieu de les additionner. La préservation de l’identité est un terme sans rapport, issu de l’IA générative et du suivi, qui désigne le fait qu’une personne générée ou suivie conserve la même apparence reconnaissable d’une image ou d’une séquence vidéo à l’autre.










