Identity Mapping
La conexión de identidad transmite sin cambios la entrada de un bloque a través de una conexión directa y la suma a la salida, para que los gradientes lleguen a las primeras capas de las redes profundas.
En aprendizaje profundo, una conexión de identidad transmite sin cambios la entrada de un bloque y la suma a su salida, de modo que el bloque calcula y = x + F(x) en vez de y = F(x). El nombre procede de la función identidad, f(x) = x. En 2015, Kaiming He, Xiangyu Zhang, Shaoqing Ren y Jian Sun crearon las redes residuales (ResNet) a partir de estas conexiones de identidad y ganaron el reto de clasificación ImageNet de ese año con una red de 152 capas. Hoy, las conexiones de identidad se utilizan en casi todas las arquitecturas profundas, desde las redes neuronales convolucionales (CNNs) hasta el flujo residual de todos los transformadores.
Por qué las conexiones de identidad permiten entrenar redes profundas#
Antes de ResNet, añadir capas a menudo empeoraba las redes. He y sus colegas descubrieron que una red convencional de 56 capas tenía más error de entrenamiento en CIFAR-10 que otra de 20 capas, de modo que la profundidad adicional perjudicaba la optimización, un problema al que llamaron degradación. Una red más profunda siempre puede igualar a otra menos profunda haciendo que sus capas adicionales sean identidades, pero a las secuencias de capas no lineales les cuesta aprender la identidad. En un bloque residual solo hay que aprender la diferencia F(x) = H(x) - x respecto a la entrada, y reducir F a cero permite recuperar la identidad.
La conexión directa también cambia la retropropagación. Como y = x + F(x), la derivada de y respecto a x es 1 más la derivada de F, y ese 1 constante transmite directamente el gradiente a través de todos los bloques. En una secuencia convencional, el gradiente es el producto de muchos factores por capa y, cuando esos factores son inferiores a 1, el resultado disminuye exponencialmente: es el problema del desvanecimiento del gradiente. Ejecutar las mismas 50 capas con y sin conexiones directas en PyTorch muestra la diferencia:
import torch
from torch import nn
torch.manual_seed(0)
# 50 identical-shape layers, reused for a plain and a residual stack
layers = [nn.Sequential(nn.Linear(64, 64), nn.Tanh()) for _ in range(50)]
x = torch.randn(32, 64, requires_grad=True)
for residual in (False, True):
h = x
for layer in layers:
h = h + layer(h) if residual else layer(h) # identity shortcut adds the input back
loss = h.square().mean()
(grad,) = torch.autograd.grad(loss, x)
print(f"residual={residual}: gradient norm at the input {grad.norm():.1e}")Imprime una norma del gradiente de 1.1e-15 en la entrada para la secuencia convencional y de 2.8e+00 para la secuencia residual construida con los mismos pesos. Sin conexiones directas, las primeras capas de esta red recibirían muy poca señal de entrenamiento.
Mantener limpia la conexión directa#
En su trabajo de seguimiento de 2016, Identity Mappings in Deep Residual Networks, los mismos autores probaron conexiones directas que escalaban, regulaban, convolucionaban o aplicaban dropout a x, y todas las variantes se entrenaron peor que una identidad pura. También trasladaron la normalización por lotes y la función de activación al interior de la rama residual, antes de los pesos, para que nada alterase la señal entre bloques. Con este diseño de preactivación se entrenó una ResNet de 1.001 capas en CIFAR-10 con un error del 4.62 % y una ResNet de 200 capas en ImageNet. Los transformadores modernos siguen la misma regla con bloques de prenormalización, que aplican la normalización dentro de cada rama de atención y de propagación hacia delante, y dejan intacto el propio flujo residual.
Una conexión de identidad necesita que la entrada y la salida tengan la misma forma. Cuando un bloque cambia el número de canales o reduce la resolución, ResNet sustituye la conexión directa por una conexión de proyección, normalmente una convolución de 1 x 1 con el mismo paso:
Ultralytics YOLO26 utiliza conexiones de identidad en todo su backbone y neck: cada bloque C3k2 está formado por cuellos de botella que devuelven x más la salida de dos convoluciones de 3 x 3 cuando coinciden los canales de entrada y salida, y su bloque SPPF suma de la misma forma su entrada a la salida de agrupación.
Inicialización como identidad#
Un bloque también puede comenzar como identidad. Si estableces en cero la escala de la última capa de normalización por lotes de cada rama residual, F(x) = 0 durante la inicialización, por lo que una red profunda empieza a entrenarse como si fuera poco profunda; Priya Goyal y sus colegas usaron este método para entrenar ResNet-50 con ImageNet en una hora y con lotes grandes, y torchvision lo ofrece como zero_init_residual=True. ReZero, propuesto en 2020, multiplica cada rama residual por un escalar entrenable que empieza en cero.
El módulo nn.Identity de PyTorch es una función identidad literal sin parámetros. Si sustituyes una cabeza clasificadora por este módulo, como en model.fc = nn.Identity(), conviertes una red de clasificación de imágenes en un modelo de extracción de características que devuelve sus embeddings de la penúltima capa.
Términos relacionados#
Conexión de salto es el término general para cualquier ruta que omita capas. Una conexión residual es de tipo aditivo, y un mapeo de identidad es una conexión residual cuya ruta no aplica ninguna transformación. U-Net y DenseNet usan conexiones de salto que concatenan mapas de características anteriores en lugar de sumarlos. La preservación de la identidad es un término distinto de la IA generativa y el seguimiento, que significa que una persona generada o seguida conserva el mismo aspecto reconocible entre imágenes o fotogramas de vídeo.










