Лицензия YOLO
Назад к глоссарию Ultralytics

Identity Mapping

Отображение тождественной функции без изменений пропускает вход блока через короткое соединение и складывает его с выходом, благодаря чему градиенты достигают ранних слоёв глубоких сетей.

В глубоком обучении тождественное отображение — это связь, которая без изменений переносит вход блока дальше и складывает его с выходом блока, поэтому блок вычисляет y = x + F(x), а не y = F(x). Название происходит от тождественной функции f(x) = x. В 2015 году Каймин Хэ, Сянъюй Чжан, Шаоцин Жэнь и Цзянь Сунь построили остаточные сети (ResNet) на этих тождественных связях и выиграли в том же году соревнование по классификации ImageNet с сетью из 152 слоев. Сегодня тождественные связи используются почти во всех глубоких архитектурах — от сверточных нейронных сетей (CNN) до остаточного потока каждого трансформера.

Почему тождественные отображения позволяют обучать глубокие сети#

До появления ResNet добавление слоев часто ухудшало сети. Хэ и его коллеги обнаружили, что ошибка обучения 56-слойной обычной сети на CIFAR-10 была выше, чем у 20-слойной, поэтому дополнительная глубина затрудняла саму оптимизацию. Эту проблему они назвали деградацией. Более глубокая сеть всегда может повторить результат более мелкой, если задать дополнительные слои как тождественные отображения, однако стопкам нелинейных слоев трудно научиться тождественному отображению. Остаточному блоку нужно лишь научиться вычислять разницу F(x) = H(x) - x относительно входа; если свести F к нулю, получится тождественное отображение.

Связь также меняет обратное распространение ошибки. Поскольку y = x + F(x), производная y по x равна 1 плюс производная F, а эта постоянная единица передает градиент напрямую через каждый блок. В обычной стопке градиент представляет собой произведение множества множителей по слоям; если они меньше 1, результат экспоненциально уменьшается — это проблема затухания градиента. Разница видна при запуске одних и тех же 50 слоев с пропусками и без них в PyTorch:

import torch
from torch import nn

torch.manual_seed(0)
# 50 identical-shape layers, reused for a plain and a residual stack
layers = [nn.Sequential(nn.Linear(64, 64), nn.Tanh()) for _ in range(50)]
x = torch.randn(32, 64, requires_grad=True)

for residual in (False, True):
    h = x
    for layer in layers:
        h = h + layer(h) if residual else layer(h)  # identity shortcut adds the input back
    loss = h.square().mean()
    (grad,) = torch.autograd.grad(loss, x)
    print(f"residual={residual}: gradient norm at the input {grad.norm():.1e}")

На входе для обычной стопки печатается норма градиента 1.1e-15, а для остаточной стопки, построенной на тех же весах, — 2.8e+00. Без пропусков первые слои этой сети почти не получали бы обучающего сигнала.

Сохраняем пропуск без изменений#

В продолжении работы 2016 года, статье «Тождественные отображения в глубоких остаточных сетях», те же авторы проверили пропуски, в которых x масштабировался, проходил через затвор, сверточный слой или dropout; все такие варианты обучались хуже чистого тождественного отображения. Авторы также перенесли пакетную нормализацию и функцию активации внутрь остаточной ветви, перед весами, чтобы между блоками сигнал ничем не изменялся. Такая конструкция с предварительной активацией позволила обучить ResNet из 1 001 слоя на CIFAR-10 с ошибкой 4,62%, а также ResNet из 200 слоев на ImageNet. Современные трансформеры следуют тому же правилу, используя блоки с предварительной нормализацией: нормализация выполняется внутри каждой ветви внимания и прямого распространения, а сам остаточный поток остается нетронутым.

Для тождественной связи вход и выход должны иметь одинаковую форму. Когда блок меняет число каналов или уменьшает разрешение, ResNet использует вместо нее проекционную связь — обычно свертку 1 x 1 свертку с соответствующим шагом:

Ultralytics YOLO26 использует тождественные связи во всей своей основе и шее: каждый блок C3k2 состоит из узких мест, которые возвращают x плюс выход двух сверток 3 x 3, если число входных и выходных каналов совпадает; блок SPPF аналогично складывает свой вход со своим результатом пулинга.

Инициализация тождественным отображением#

Блок также можно инициализировать как тождественное отображение. Если задать масштаб последнего слоя пакетной нормализации в каждой остаточной ветви равным нулю, то при инициализации F(x) = 0, и глубокая сеть начинает обучение так, будто она неглубокая; Priya Goyal и коллеги использовали этот подход, чтобы обучить ResNet-50 на ImageNet за час с большими пакетами, а torchvision предоставляет его как zero_init_residual=True. ReZero, предложенный в 2020 году, умножает каждую остаточную ветвь на обучаемый скаляр, изначально равный нулю.

Модуль nn.Identity в PyTorch — это буквальное тождественное отображение без параметров. Если заменить им классификационную голову, как в model.fc = nn.Identity(), сеть классификации изображений превращается в модель для извлечения признаков, которая возвращает предпоследние эмбеддинги.

Пропускающее соединение — более общий термин для любого пути, обходящего слои. Остаточное соединение — это аддитивный вариант, а тождественное отображение — остаточное соединение, путь которого не применяет никаких преобразований. U-Net и DenseNet используют пропускающие соединения, которые конкатенируют более ранние карты признаков, а не складывают их. Сохранение идентичности — не связанный с этим термин из генеративного ИИ и трекинга: он означает, что сгенерированный или отслеживаемый человек сохраняет узнаваемую внешность на разных изображениях или кадрах видео.

Изучи решения

Компьютерное зрение в спорте

Компьютерное зрение в спорте

Узнай, как Ultralytics YOLO обеспечивает компьютерное зрение в спорте: отслеживание игроков и мяча, аналитика результатов, полезные выводы для тренеров и реабилитация спортсменов.
Подробнее
Компьютерное зрение для аэросъёмки

Компьютерное зрение для аэросъёмки

Превращай снимки с дронов и аэрофотоснимки в полезные данные в реальном времени для сельского хозяйства, аквакультуры, охраны природы и геопространственного анализа с Ultralytics YOLO.
Подробнее
Компьютерное зрение в аэрокосмической отрасли

Компьютерное зрение в аэрокосмической отрасли

Применяй компьютерное зрение в аэрокосмической отрасли с Ultralytics YOLO: для осмотра самолётов, обнаружения посторонних предметов на взлётно-посадочных полосах, наземного обслуживания аэропортов и выявления дефектов композитных материалов.
Подробнее
Компьютерное зрение в сфере безопасности

Компьютерное зрение в сфере безопасности

Защити любой объект с помощью моделей Ultralytics YOLO. ИИ на базе компьютерного зрения обеспечивает мониторинг периметра, обнаружение угроз, распознавание номерных знаков и безопасность на рабочем месте.
Подробнее
Компьютерное зрение в робототехнике

Компьютерное зрение в робототехнике

Создавай более интеллектуальные машины с моделями Ultralytics YOLO. ИИ на базе компьютерного зрения в робототехнике обеспечивает автономную навигацию, восприятие, отслеживание объектов и управление в реальном времени.
Подробнее
Компьютерное зрение в логистике

Компьютерное зрение в логистике

Оптимизируй логистику с моделями Ultralytics YOLO. Визуальный AI обеспечивает проверку посылок, сортировку, отслеживание транспорта и мониторинг безопасности на складе в реальном времени.
Подробнее
Компьютерное зрение в розничной торговле

Компьютерное зрение в розничной торговле

Переосмысли розничную торговлю с моделями Ultralytics YOLO. Визуальный AI обеспечивает отслеживание запасов, мониторинг полок, управление очередями и более глубокое понимание поведения покупателей.
Подробнее
Компьютерное зрение в здравоохранении

Компьютерное зрение в здравоохранении

Создавай решения для здравоохранения с моделями Ultralytics YOLO. Визуальный AI в здравоохранении ускоряет медицинскую визуализацию, улучшает диагностику и мониторинг пациентов.
Подробнее
Компьютерное зрение в производстве

Компьютерное зрение в производстве

Оптимизируй производство с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ обеспечивает контроль качества, обнаружение дефектов, контроль использования СИЗ и автоматизацию сборочных линий.
Подробнее
Компьютерное зрение в автомобильной отрасли

Компьютерное зрение в автомобильной отрасли

Применяй компьютерное зрение в автомобильной отрасли с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ повышает безопасность дорожного движения, улучшает помощь водителю и автоматизацию автомобилей, делая дороги умнее.
Подробнее
Компьютерное зрение в сельском хозяйстве

Компьютерное зрение в сельском хозяйстве

Внедряй ИИ для компьютерного зрения в умное сельское хозяйство с моделями Ultralytics YOLO. Используй их для мониторинга посевов, отслеживания скота и точного земледелия, чтобы повысить урожайность и эффективность.
Подробнее

Давай вместе строить будущее ИИ!

Начни свой путь в будущее машинного обучения