Licence YOLO
Retour au glossaire Ultralytics

Identity Mapping

Le mappage identité transmet sans modification l’entrée d’un bloc par une connexion raccourcie, puis l’ajoute à la sortie, afin que les gradients atteignent les premières couches des réseaux profonds.

En apprentissage profond, une connexion identité transmet sans modification l’entrée d’un bloc et l’ajoute à sa sortie : le bloc calcule donc y = x + F(x) plutôt que y = F(x). Le nom vient de la fonction identité, f(x) = x. Kaiming He, Xiangyu Zhang, Shaoqing Ren et Jian Sun ont fondé les réseaux résiduels (ResNet) sur ces connexions raccourcies identité en 2015. Ils ont remporté le défi de classification ImageNet de cette année-là avec un réseau de 152 couches. Les connexions raccourcies identité sont désormais présentes dans presque toutes les architectures profondes, des réseaux neuronaux convolutifs (CNNs) au flux résiduel de chaque Transformer.

Pourquoi les connexions identité permettent d’entraîner des réseaux profonds#

Avant ResNet, l’ajout de couches dégradait souvent les réseaux. He et ses collègues ont constaté qu’un réseau classique de 56 couches avait une erreur d’entraînement plus élevée sur CIFAR-10 qu’un réseau de 20 couches : la profondeur supplémentaire nuisait donc à l’optimisation elle-même, un problème qu’ils ont appelé dégradation. Un réseau plus profond peut toujours égaler un réseau moins profond en définissant ses couches supplémentaires comme des fonctions identité, mais les empilements de couches non linéaires ont du mal à apprendre l’identité. Un bloc résiduel doit seulement apprendre la différence F(x) = H(x) - x par rapport à son entrée. En faisant tendre F vers zéro, il retrouve la fonction identité.

La connexion raccourcie modifie aussi la rétropropagation. Comme y = x + F(x), la dérivée de y par rapport à x est égale à 1 plus la dérivée de F, et cette constante 1 transmet directement le gradient à travers chaque bloc. Dans un réseau classique, le gradient est le produit de nombreux facteurs propres aux couches. Lorsque ces facteurs sont inférieurs à 1, le résultat diminue de façon exponentielle : c’est le problème du gradient évanescent. La comparaison des mêmes 50 couches avec et sans connexions raccourcies dans PyTorch montre la différence :

import torch
from torch import nn

torch.manual_seed(0)
# 50 identical-shape layers, reused for a plain and a residual stack
layers = [nn.Sequential(nn.Linear(64, 64), nn.Tanh()) for _ in range(50)]
x = torch.randn(32, 64, requires_grad=True)

for residual in (False, True):
    h = x
    for layer in layers:
        h = h + layer(h) if residual else layer(h)  # identity shortcut adds the input back
    loss = h.square().mean()
    (grad,) = torch.autograd.grad(loss, x)
    print(f"residual={residual}: gradient norm at the input {grad.norm():.1e}")

Le code affiche une norme de gradient de 1.1e-15 à l’entrée pour le réseau classique et de 2.8e+00 pour le réseau résiduel construit avec les mêmes poids. Sans connexions raccourcies, les premières couches de ce réseau ne recevraient presque aucun signal d’entraînement.

Préserver la pureté de la connexion raccourcie#

Dans leur étude de suivi de 2016, Identity Mappings in Deep Residual Networks, les mêmes auteurs ont testé des connexions raccourcies qui mettent à l’échelle, filtrent, convoluent ou appliquent une extinction à x. Toutes les variantes se sont entraînées moins bien qu’une fonction identité pure. Ils ont également déplacé la normalisation par lots et la fonction d’activation à l’intérieur de la branche résiduelle, avant les poids, de sorte que rien ne modifie le signal entre les blocs. Cette conception à préactivation a permis d’entraîner un ResNet de 1 001 couches sur CIFAR-10 avec un taux d’erreur de 4,62 %, ainsi qu’un ResNet de 200 couches sur ImageNet. Les Transformer modernes suivent la même règle avec des blocs à pré-normalisation, qui appliquent la normalisation à l’intérieur de chaque branche d’attention et d’anticipation, sans toucher au flux résiduel lui-même.

Une connexion raccourcie identité exige que l’entrée et la sortie aient la même forme. Lorsqu’un bloc modifie le nombre de canaux ou réduit la résolution, ResNet remplace la connexion raccourcie par une projection, généralement une convolution 1 x 1 avec un pas correspondant :

Ultralytics YOLO26 utilise des connexions raccourcies identité dans tout son backbone et son neck : chaque bloc C3k2 est composé de goulots d’étranglement qui renvoient x plus la sortie de deux convolutions 3 x 3 lorsque le nombre de canaux d’entrée et de sortie correspond. Son bloc SPPF ajoute de la même manière son entrée à sa sortie regroupée.

Initialisation par identité#

Un bloc peut aussi commencer comme une identité. Mettre à zéro l’échelle de la dernière couche de normalisation par lots de chaque branche résiduelle fait que F(x) = 0 à l’initialisation ; un réseau profond commence alors l’entraînement comme s’il était peu profond. Priya Goyal et ses collègues ont utilisé cette méthode pour entraîner ResNet-50 sur ImageNet en une heure avec de grands lots, et torchvision la propose sous la forme de zero_init_residual=True. ReZero, proposé en 2020, multiplie chaque branche résiduelle par un scalaire apprenable qui commence à zéro.

Le module nn.Identity de PyTorch est une application identité au sens strict, sans paramètres. Remplacer une tête de classification par ce module, comme dans model.fc = nn.Identity(), transforme un réseau de classification d’images en modèle d’extraction de caractéristiques qui renvoie ses embeddings de l’avant-dernière couche.

Une connexion raccourcie est le terme général désignant tout chemin qui contourne des couches. Une connexion résiduelle est une connexion additive, et une application identité est une connexion résiduelle dont le chemin n’applique aucune transformation. U-Net et DenseNet utilisent des connexions raccourcies qui concatènent des cartes de caractéristiques antérieures au lieu de les additionner. La préservation de l’identité est un terme sans rapport, issu de l’IA générative et du suivi, qui désigne le fait qu’une personne générée ou suivie conserve la même apparence reconnaissable d’une image ou d’une séquence vidéo à l’autre.

Découvre les solutions

La vision par ordinateur dans le sport

La vision par ordinateur dans le sport

Découvre comment Ultralytics YOLO propulse la vision par ordinateur dans le sport grâce au suivi des joueurs et du ballon, aux analyses de performance, aux conseils d’entraînement et à la rééducation des athlètes.
En savoir plus
Vision par ordinateur pour les images aériennes

Vision par ordinateur pour les images aériennes

Transforme les images de drones et les images aériennes en informations exploitables en temps réel pour l’agriculture, l’aquaculture, la conservation et l’analyse géospatiale avec Ultralytics YOLO.
En savoir plus
Vision par ordinateur dans l’aérospatiale

Vision par ordinateur dans l’aérospatiale

Applique la vision par ordinateur dans l’aérospatiale avec Ultralytics YOLO pour l’inspection des aéronefs, la détection des corps étrangers sur les pistes, les opérations au sol des aéroports et la détection des défauts des matériaux composites.
En savoir plus
La vision par ordinateur dans la sécurité

La vision par ordinateur dans la sécurité

Protège chaque site avec les modèles Ultralytics YOLO. L’IA visuelle permet la surveillance des périmètres, la détection des menaces, la reconnaissance des plaques d’immatriculation et la sécurité au travail.
En savoir plus
La vision par ordinateur en robotique

La vision par ordinateur en robotique

Donne plus de capacités à tes machines grâce aux modèles Ultralytics YOLO. Dans la robotique, l’IA visuelle permet la navigation autonome, la perception, le suivi des objets et le contrôle en temps réel.
En savoir plus
La vision par ordinateur dans la logistique

La vision par ordinateur dans la logistique

Optimise la logistique avec les modèles Ultralytics YOLO. La vision par IA permet d’inspecter les colis, de les trier, de suivre les véhicules et de surveiller la sécurité des entrepôts en temps réel.
En savoir plus
La vision par ordinateur dans le commerce de détail

La vision par ordinateur dans le commerce de détail

Réinvente le commerce de détail avec les modèles Ultralytics YOLO. La vision par IA permet de suivre les stocks, de surveiller les rayons, de gérer les files d’attente et de mieux comprendre les clients.
En savoir plus
La vision par ordinateur dans le secteur de la santé

La vision par ordinateur dans le secteur de la santé

Crée des solutions de santé avec les modèles Ultralytics YOLO. La vision par IA dans le secteur de la santé accélère l’imagerie médicale, améliore les diagnostics et facilite la surveillance des patients.
En savoir plus
La vision par ordinateur dans l’industrie manufacturière

La vision par ordinateur dans l’industrie manufacturière

Optimise la fabrication avec les modèles Ultralytics YOLO. La vision par IA améliore le contrôle qualité, la détection des défauts, le respect des règles concernant les EPI et l’automatisation des chaînes de montage.
En savoir plus
La vision par ordinateur dans l’automobile

La vision par ordinateur dans l’automobile

Mets la vision par ordinateur au service de l’automobile avec les modèles Ultralytics YOLO. La vision par IA renforce la sécurité routière, l’aide à la conduite et l’automatisation des véhicules pour des routes plus intelligentes.
En savoir plus
Vision par ordinateur dans l’agriculture

Vision par ordinateur dans l’agriculture

Fais entrer l’IA de vision dans l’agriculture intelligente avec les modèles Ultralytics YOLO. Optimise le suivi des cultures et du bétail ainsi que l’agriculture de précision pour obtenir des rendements plus élevés et plus intelligents.
En savoir plus

Construisons ensemble l’avenir de l’IA !

Commence ton parcours vers l’avenir de l’apprentissage automatique