Licencia YOLO
Volver al glosario de Ultralytics

Identity Mapping

La conexión de identidad transmite sin cambios la entrada de un bloque a través de una conexión directa y la suma a la salida, para que los gradientes lleguen a las primeras capas de las redes profundas.

En aprendizaje profundo, una conexión de identidad transmite sin cambios la entrada de un bloque y la suma a su salida, de modo que el bloque calcula y = x + F(x) en vez de y = F(x). El nombre procede de la función identidad, f(x) = x. En 2015, Kaiming He, Xiangyu Zhang, Shaoqing Ren y Jian Sun crearon las redes residuales (ResNet) a partir de estas conexiones de identidad y ganaron el reto de clasificación ImageNet de ese año con una red de 152 capas. Hoy, las conexiones de identidad se utilizan en casi todas las arquitecturas profundas, desde las redes neuronales convolucionales (CNNs) hasta el flujo residual de todos los transformadores.

Por qué las conexiones de identidad permiten entrenar redes profundas#

Antes de ResNet, añadir capas a menudo empeoraba las redes. He y sus colegas descubrieron que una red convencional de 56 capas tenía más error de entrenamiento en CIFAR-10 que otra de 20 capas, de modo que la profundidad adicional perjudicaba la optimización, un problema al que llamaron degradación. Una red más profunda siempre puede igualar a otra menos profunda haciendo que sus capas adicionales sean identidades, pero a las secuencias de capas no lineales les cuesta aprender la identidad. En un bloque residual solo hay que aprender la diferencia F(x) = H(x) - x respecto a la entrada, y reducir F a cero permite recuperar la identidad.

La conexión directa también cambia la retropropagación. Como y = x + F(x), la derivada de y respecto a x es 1 más la derivada de F, y ese 1 constante transmite directamente el gradiente a través de todos los bloques. En una secuencia convencional, el gradiente es el producto de muchos factores por capa y, cuando esos factores son inferiores a 1, el resultado disminuye exponencialmente: es el problema del desvanecimiento del gradiente. Ejecutar las mismas 50 capas con y sin conexiones directas en PyTorch muestra la diferencia:

import torch
from torch import nn

torch.manual_seed(0)
# 50 identical-shape layers, reused for a plain and a residual stack
layers = [nn.Sequential(nn.Linear(64, 64), nn.Tanh()) for _ in range(50)]
x = torch.randn(32, 64, requires_grad=True)

for residual in (False, True):
    h = x
    for layer in layers:
        h = h + layer(h) if residual else layer(h)  # identity shortcut adds the input back
    loss = h.square().mean()
    (grad,) = torch.autograd.grad(loss, x)
    print(f"residual={residual}: gradient norm at the input {grad.norm():.1e}")

Imprime una norma del gradiente de 1.1e-15 en la entrada para la secuencia convencional y de 2.8e+00 para la secuencia residual construida con los mismos pesos. Sin conexiones directas, las primeras capas de esta red recibirían muy poca señal de entrenamiento.

Mantener limpia la conexión directa#

En su trabajo de seguimiento de 2016, Identity Mappings in Deep Residual Networks, los mismos autores probaron conexiones directas que escalaban, regulaban, convolucionaban o aplicaban dropout a x, y todas las variantes se entrenaron peor que una identidad pura. También trasladaron la normalización por lotes y la función de activación al interior de la rama residual, antes de los pesos, para que nada alterase la señal entre bloques. Con este diseño de preactivación se entrenó una ResNet de 1.001 capas en CIFAR-10 con un error del 4.62 % y una ResNet de 200 capas en ImageNet. Los transformadores modernos siguen la misma regla con bloques de prenormalización, que aplican la normalización dentro de cada rama de atención y de propagación hacia delante, y dejan intacto el propio flujo residual.

Una conexión de identidad necesita que la entrada y la salida tengan la misma forma. Cuando un bloque cambia el número de canales o reduce la resolución, ResNet sustituye la conexión directa por una conexión de proyección, normalmente una convolución de 1 x 1 con el mismo paso:

Ultralytics YOLO26 utiliza conexiones de identidad en todo su backbone y neck: cada bloque C3k2 está formado por cuellos de botella que devuelven x más la salida de dos convoluciones de 3 x 3 cuando coinciden los canales de entrada y salida, y su bloque SPPF suma de la misma forma su entrada a la salida de agrupación.

Inicialización como identidad#

Un bloque también puede comenzar como identidad. Si estableces en cero la escala de la última capa de normalización por lotes de cada rama residual, F(x) = 0 durante la inicialización, por lo que una red profunda empieza a entrenarse como si fuera poco profunda; Priya Goyal y sus colegas usaron este método para entrenar ResNet-50 con ImageNet en una hora y con lotes grandes, y torchvision lo ofrece como zero_init_residual=True. ReZero, propuesto en 2020, multiplica cada rama residual por un escalar entrenable que empieza en cero.

El módulo nn.Identity de PyTorch es una función identidad literal sin parámetros. Si sustituyes una cabeza clasificadora por este módulo, como en model.fc = nn.Identity(), conviertes una red de clasificación de imágenes en un modelo de extracción de características que devuelve sus embeddings de la penúltima capa.

Conexión de salto es el término general para cualquier ruta que omita capas. Una conexión residual es de tipo aditivo, y un mapeo de identidad es una conexión residual cuya ruta no aplica ninguna transformación. U-Net y DenseNet usan conexiones de salto que concatenan mapas de características anteriores en lugar de sumarlos. La preservación de la identidad es un término distinto de la IA generativa y el seguimiento, que significa que una persona generada o seguida conserva el mismo aspecto reconocible entre imágenes o fotogramas de vídeo.

Explora las soluciones

Visión artificial en el deporte

Visión artificial en el deporte

Descubre cómo Ultralytics YOLO impulsa la visión artificial en el deporte con el seguimiento de jugadores y balones, analíticas de rendimiento, información útil para entrenadores y rehabilitación de deportistas.
Más información
Visión artificial para imágenes aéreas

Visión artificial para imágenes aéreas

Convierte imágenes aéreas y de drones en información útil en tiempo real para la agricultura, la acuicultura, la conservación y el análisis geoespacial con Ultralytics YOLO.
Más información
Visión artificial en el sector aeroespacial

Visión artificial en el sector aeroespacial

Aplica la visión artificial en el sector aeroespacial con Ultralytics YOLO para inspeccionar aeronaves, detectar objetos extraños en pistas, gestionar operaciones en tierra y detectar defectos en materiales compuestos.
Más información
Visión artificial en seguridad

Visión artificial en seguridad

Protege todas tus instalaciones con los modelos Ultralytics YOLO. La IA visual permite supervisar perímetros, detectar amenazas, reconocer matrículas y mejorar la seguridad laboral.
Más información
Visión artificial en robótica

Visión artificial en robótica

Potencia máquinas más inteligentes con los modelos Ultralytics YOLO. La IA visual en robótica impulsa la navegación autónoma, la percepción, el seguimiento de objetos y el control en tiempo real.
Más información
Visión artificial en logística

Visión artificial en logística

Agiliza la logística con modelos Ultralytics YOLO. La IA visual permite inspeccionar paquetes, clasificarlos, realizar el seguimiento de vehículos y supervisar la seguridad del almacén en tiempo real.
Más información
Visión artificial en el comercio minorista

Visión artificial en el comercio minorista

Reinventa el comercio minorista con modelos Ultralytics YOLO. La IA visual permite realizar el seguimiento del inventario, supervisar estanterías, gestionar colas y obtener información más útil sobre los clientes.
Más información
Visión artificial en el sector sanitario

Visión artificial en el sector sanitario

Desarrolla soluciones sanitarias con modelos Ultralytics YOLO. La IA visual en el sector sanitario permite acelerar el diagnóstico por imagen, mejorar los diagnósticos y supervisar a los pacientes.
Más información
Visión artificial en la fabricación

Visión artificial en la fabricación

Optimiza la fabricación con modelos Ultralytics YOLO. La IA visual mejora el control de calidad, la detección de defectos, el cumplimiento de las normas de uso de EPI y la automatización de las líneas de montaje.
Más información
Visión artificial en la automoción

Visión artificial en la automoción

Aplica la visión artificial al sector de la automoción con modelos Ultralytics YOLO. La IA visual mejora la seguridad vial, la asistencia al conductor y la automatización de vehículos para lograr carreteras más inteligentes.
Más información
Visión artificial en la agricultura

Visión artificial en la agricultura

Incorpora la IA de visión a la agricultura inteligente con modelos Ultralytics YOLO. Impulsa la monitorización de cultivos, el seguimiento del ganado y la agricultura de precisión para obtener cosechas más abundantes e inteligentes.
Más información

¡Construyamos juntos el futuro de la IA!

Inicia tu recorrido hacia el futuro del aprendizaje automático