Identity Mapping
Отображение тождественной функции без изменений пропускает вход блока через короткое соединение и складывает его с выходом, благодаря чему градиенты достигают ранних слоёв глубоких сетей.
В глубоком обучении тождественное отображение — это связь, которая без изменений переносит вход блока дальше и складывает его с выходом блока, поэтому блок вычисляет y = x + F(x), а не y = F(x). Название происходит от тождественной функции f(x) = x. В 2015 году Каймин Хэ, Сянъюй Чжан, Шаоцин Жэнь и Цзянь Сунь построили остаточные сети (ResNet) на этих тождественных связях и выиграли в том же году соревнование по классификации ImageNet с сетью из 152 слоев. Сегодня тождественные связи используются почти во всех глубоких архитектурах — от сверточных нейронных сетей (CNN) до остаточного потока каждого трансформера.
Почему тождественные отображения позволяют обучать глубокие сети#
До появления ResNet добавление слоев часто ухудшало сети. Хэ и его коллеги обнаружили, что ошибка обучения 56-слойной обычной сети на CIFAR-10 была выше, чем у 20-слойной, поэтому дополнительная глубина затрудняла саму оптимизацию. Эту проблему они назвали деградацией. Более глубокая сеть всегда может повторить результат более мелкой, если задать дополнительные слои как тождественные отображения, однако стопкам нелинейных слоев трудно научиться тождественному отображению. Остаточному блоку нужно лишь научиться вычислять разницу F(x) = H(x) - x относительно входа; если свести F к нулю, получится тождественное отображение.
Связь также меняет обратное распространение ошибки. Поскольку y = x + F(x), производная y по x равна 1 плюс производная F, а эта постоянная единица передает градиент напрямую через каждый блок. В обычной стопке градиент представляет собой произведение множества множителей по слоям; если они меньше 1, результат экспоненциально уменьшается — это проблема затухания градиента. Разница видна при запуске одних и тех же 50 слоев с пропусками и без них в PyTorch:
import torch
from torch import nn
torch.manual_seed(0)
# 50 identical-shape layers, reused for a plain and a residual stack
layers = [nn.Sequential(nn.Linear(64, 64), nn.Tanh()) for _ in range(50)]
x = torch.randn(32, 64, requires_grad=True)
for residual in (False, True):
h = x
for layer in layers:
h = h + layer(h) if residual else layer(h) # identity shortcut adds the input back
loss = h.square().mean()
(grad,) = torch.autograd.grad(loss, x)
print(f"residual={residual}: gradient norm at the input {grad.norm():.1e}")На входе для обычной стопки печатается норма градиента 1.1e-15, а для остаточной стопки, построенной на тех же весах, — 2.8e+00. Без пропусков первые слои этой сети почти не получали бы обучающего сигнала.
Сохраняем пропуск без изменений#
В продолжении работы 2016 года, статье «Тождественные отображения в глубоких остаточных сетях», те же авторы проверили пропуски, в которых x масштабировался, проходил через затвор, сверточный слой или dropout; все такие варианты обучались хуже чистого тождественного отображения. Авторы также перенесли пакетную нормализацию и функцию активации внутрь остаточной ветви, перед весами, чтобы между блоками сигнал ничем не изменялся. Такая конструкция с предварительной активацией позволила обучить ResNet из 1 001 слоя на CIFAR-10 с ошибкой 4,62%, а также ResNet из 200 слоев на ImageNet. Современные трансформеры следуют тому же правилу, используя блоки с предварительной нормализацией: нормализация выполняется внутри каждой ветви внимания и прямого распространения, а сам остаточный поток остается нетронутым.
Для тождественной связи вход и выход должны иметь одинаковую форму. Когда блок меняет число каналов или уменьшает разрешение, ResNet использует вместо нее проекционную связь — обычно свертку 1 x 1 свертку с соответствующим шагом:
Ultralytics YOLO26 использует тождественные связи во всей своей основе и шее: каждый блок C3k2 состоит из узких мест, которые возвращают x плюс выход двух сверток 3 x 3, если число входных и выходных каналов совпадает; блок SPPF аналогично складывает свой вход со своим результатом пулинга.
Инициализация тождественным отображением#
Блок также можно инициализировать как тождественное отображение. Если задать масштаб последнего слоя пакетной нормализации в каждой остаточной ветви равным нулю, то при инициализации F(x) = 0, и глубокая сеть начинает обучение так, будто она неглубокая; Priya Goyal и коллеги использовали этот подход, чтобы обучить ResNet-50 на ImageNet за час с большими пакетами, а torchvision предоставляет его как zero_init_residual=True. ReZero, предложенный в 2020 году, умножает каждую остаточную ветвь на обучаемый скаляр, изначально равный нулю.
Модуль nn.Identity в PyTorch — это буквальное тождественное отображение без параметров. Если заменить им классификационную голову, как в model.fc = nn.Identity(), сеть классификации изображений превращается в модель для извлечения признаков, которая возвращает предпоследние эмбеддинги.
Связанные понятия#
Пропускающее соединение — более общий термин для любого пути, обходящего слои. Остаточное соединение — это аддитивный вариант, а тождественное отображение — остаточное соединение, путь которого не применяет никаких преобразований. U-Net и DenseNet используют пропускающие соединения, которые конкатенируют более ранние карты признаков, а не складывают их. Сохранение идентичности — не связанный с этим термин из генеративного ИИ и трекинга: он означает, что сгенерированный или отслеживаемый человек сохраняет узнаваемую внешность на разных изображениях или кадрах видео.










