Identity Mapping

В mathematics и линейной алгебре тождественное отображение или identity matrix — это функция, которая возвращает ровно то же значение, которое было передано ей на вход. В контексте artificial intelligence (AI) и deep learning тождественное отображение относится к конкретной архитектурной технике, используемой для передачи входных данных напрямую в последующие слои convolutional neural network (CNN) без каких-либо нелинейных преобразований. Эта концепция получила широкое распространение благодаря появлению Residual Networks (ResNet) в 2015 году, которые произвели революцию в структурировании и обучении глубоких моделей computer vision (CV).

Как работает Identity Mapping#

Глубокие нейронные сети часто страдают от проблемы vanishing gradient. Во время обратного распространения ошибки сигналы ошибки, используемые для обновления весов сети, становятся экспоненциально меньше по мере их прохождения в обратном направлении через слои, что мешает ранним слоям эффективно обучаться. Тождественное отображение решает эту проблему, создавая «пропускающие соединения» (skip connections) или «соединения-ярлыки» (shortcut connections).

Вместо того чтобы заставлять последовательные слои изучать совершенно новое и не имеющее ссылок отображение, они спроектированы так, чтобы изучать остаточную функцию. Математически, если входом для блока является x, слой изучает преобразование F(x). Тождественное отображение добавляет исходный вход x непосредственно к выводу этого преобразования, в результате чего получается окончательный вывод F(x) + x. Это гарантирует, что даже в чрезвычайно глубоких сетях градиенты могут течь беспрепятственно прямо через model backbone. Авторитетные исследовательские организации в области искусственного интеллекта, такие как Google DeepMind и OpenAI, часто используют эти архитектурные сокращения для стабилизации обучения в массивных базовых моделях.

Identity Mapping против сохранения идентичности (Identity Preservation)#

Крайне важно отличать тождественное отображение от похожего по названию понятия identity preservation.

Хотя тождественное отображение является структурной особенностью кода нейронной сети, предназначенной для оптимизации процесса обучения machine learning (ML), сохранение идентичности — это отдельная computer vision task. Сохранение идентичности сосредоточено на поддержании визуальной последовательности конкретного человека или объекта по разным видеокадрам при трекинге объектов или по сгенерированным изображениям в рабочих процессах генеративного ИИ.

Реальные приложения#

Identity mapping служит фундаментальным строительным блоком для многих высокоточных моделей, используемых в производстве сегодня:

• Advanced Object Detection: Современные архитектуры реального времени, включая новейший Ultralytics YOLO26, используют продвинутые остаточные блоки, содержащие тождественные отображения внутри своих слоев извлечения признаков. Это позволяет им выполнять высокоскоростное и точное детектирование в сложных средах, таких как autonomous driving, без ухудшения производительности по мере увеличения глубины сети.
• Image Classification Models: Современные архитектуры компьютерного зрения, подробно описанные в академических репозиториях вроде arXiv и IEEE Xplore Digital Library, полагаются на тождественные отображения для успешного обучения моделей с сотнями слоев. Высокоуровневые фреймворки вроде TensorFlow используют эти сокращения для извлечения сложнейших иерархических признаков из огромных наборов данных.

Реализация Identity Mapping в PyTorch#

При создании пользовательских нейронных сетей фреймворки глубокого обучения вроде PyTorch предоставляют встроенные инструменты для легкой реализации таких соединений. Ты можешь явно использовать модуль PyTorch nn.Identity или просто применить математическое сложение внутри своего прямого прохода nn.Module.

Следующий фрагмент кода демонстрирует базовый остаточный блок, использующий тождественное отображение. Обрати внимание, что разработчики, использующие облачную Ultralytics Platform для управления наборами данных и обучения моделей, автоматически получают выгоду от этих высокооптимизированных архитектурных структур под капотом.

import torch.nn as nn


class ResidualBlock(nn.Module):
    def __init__(self, channels):
        super().__init__()
        # A simple convolutional layer for feature extraction
        self.conv = nn.Conv2d(channels, channels, kernel_size=3, padding=1)
        # Explicit identity mapping module
        self.identity = nn.Identity()

    def forward(self, x):
        # The block output is the sum of the learned features and the identity map
        return self.conv(x) + self.identity(x)