YOLOのライセンス
Ultralytics用語集に戻る

Identity Mapping

恒等写像では、ブロックの入力をショートカット経由で変更せずに通し、出力に加算します。これにより、深いネットワークの初期層まで勾配が届きます。

ディープラーニングにおける恒等写像とは、ブロックの入力を変更せずに先へ伝え、ブロックの出力に加算する接続です。これにより、ブロックはy = F(x)ではなくy = x + F(x)を計算します。この名称は、f(x) = xで定義される恒等関数に由来します。Kaiming He氏、Xiangyu Zhang氏、Shaoqing Ren氏、Jian Sun氏は、2015年にこれらの恒等ショートカットを基盤とする残差ネットワーク(ResNet)を構築しました。同年、152層のネットワークでImageNetの画像分類チャレンジに優勝しました。現在、恒等ショートカットは畳み込みニューラルネットワーク(CNN)から、あらゆるTransformerの残差ストリームまで、ほぼすべての深層アーキテクチャに組み込まれています。

恒等写像が深いネットワークの学習を可能にする理由#

ResNet以前は、層を追加するとネットワークの性能が低下することがよくありました。He氏らは、56層の通常のネットワークではCIFAR-10の学習誤差が20層のネットワークより大きくなり、深さを増すことで最適化そのものが悪化することを確認しました。この問題は劣化と呼ばれました。深いネットワークは、追加した層を恒等写像に設定すれば、浅いネットワークと同等の性能を実現できます。しかし、非線形層を積み重ねた構造では恒等写像の学習が困難です。残差ブロックが学習するのは、入力との差分F(x) = H(x) - xだけであり、Fをゼロに近づければ恒等写像になります。

ショートカットは誤差逆伝播も変えます。y = x + F(x)であるため、xに対するyの微分は1とFの微分の和になり、定数の1が各ブロックを通って勾配を直接伝えます。通常の層の積み重ねでは、勾配は各層の係数の積になります。係数が1未満の場合、勾配は指数関数的に小さくなり、勾配消失の問題が生じます。PyTorchで同じ50層をショートカットありとなしで実行すると、その違いが分かります。

import torch
from torch import nn

torch.manual_seed(0)
# 50 identical-shape layers, reused for a plain and a residual stack
layers = [nn.Sequential(nn.Linear(64, 64), nn.Tanh()) for _ in range(50)]
x = torch.randn(32, 64, requires_grad=True)

for residual in (False, True):
    h = x
    for layer in layers:
        h = h + layer(h) if residual else layer(h)  # identity shortcut adds the input back
    loss = h.square().mean()
    (grad,) = torch.autograd.grad(loss, x)
    print(f"residual={residual}: gradient norm at the input {grad.norm():.1e}")

同じ重みを使ったネットワークについて、ショートカットなしの通常の層の積み重ねでは入力時の勾配ノルム1.1e-15が出力され、残差ブロックでは2.8e+00が出力されます。ショートカットがなければ、このネットワークの初期層にはほとんど学習信号が届きません。

ショートカットを純粋な形に保つ#

2016年の続報「Identity Mappings in Deep Residual Networks」では、同じ著者らがxをスケーリング、ゲーティング、畳み込み、ドロップアウトするショートカットを検証し、どの変形も純粋な恒等写像より学習性能が低いことを示しました。また、バッチ正規化と活性化関数を重みの前に残差ブランチ内へ移動し、ブロック間の信号に何も適用しないようにしました。このプレアクティベーション設計により、CIFAR-10で1,001層のResNetを誤差4.62%まで学習させ、ImageNetでは200層のResNetを学習させました。最新のTransformerも、各アテンションブランチとフィードフォワードブランチの内部に正規化を適用し、残差ストリーム自体には手を加えないプレノームブロックで、同じ原則に従っています。

恒等ショートカットでは、入力と出力の形状が一致している必要があります。ブロックでチャネル数を変更したりダウンサンプリングしたりする場合、ResNetは通常、ストライドを一致させた1 x 1の畳み込みを使う射影ショートカットに置き換えます。

Ultralytics YOLO26は、バックボーンとネック全体で恒等ショートカットを使用しています。各C3k2ブロックは、入力チャネル数と出力チャネル数が一致する場合、2つの3 x 3畳み込みの出力にxを加算して返すボトルネックで構成されています。また、SPPFブロックも同様に、プーリングした出力に入力を加算します。

恒等写像による初期化#

ブロックは恒等写像として開始することもできます。各残差ブランチの最後のバッチ正規化レイヤーのスケールをゼロに設定すると、初期化時に F(x) = 0 となり、深いネットワークでも浅いネットワークのように学習を開始できます。Priya Goyalらはこの手法を使って、大きなバッチでImageNet上のResNet-50を1時間で学習させました。また、torchvisionでは zero_init_residual=True として公開されています。2020年に提案されたReZeroは、各残差ブランチに、初期値がゼロの学習可能なスカラーを乗算します。

PyTorchのnn.Identityモジュールは、パラメーターを持たない文字どおりの恒等写像です。model.fc = nn.Identity() のように分類ヘッドをこれに置き換えると、画像分類ネットワークは特徴抽出モデルになり、最後から2番目の層から得られる埋め込み表現を返します。

スキップ接続は、層を迂回するあらゆる経路を指す広い用語です。残差接続は加算を行うタイプで、恒等写像は経路上で変換を行わない残差接続です。U-NetとDenseNetは、以前の特徴マップを加算するのではなく連結するスキップ接続を使用します。アイデンティティ保持は、生成AIやトラッキングで使われる別の用語で、生成または追跡される人物が画像や動画フレームをまたいでも、同じ人物だと認識できる外見を保つことを意味します。

ソリューションを見る

スポーツにおけるコンピュータービジョン

スポーツにおけるコンピュータービジョン

Ultralytics YOLOが、選手やボールの追跡、パフォーマンス分析、コーチングへの知見、アスリートのリハビリを通じて、スポーツビジョンをどのように支えるかをご紹介します。
詳しく見る
航空画像向けコンピュータービジョン

航空画像向けコンピュータービジョン

Ultralytics YOLOを使用して、ドローンや航空画像をリアルタイムの知見に変換し、農業、水産養殖、自然保護、地理空間分析に活用できます。
詳しく見る
航空宇宙分野のコンピュータービジョン

航空宇宙分野のコンピュータービジョン

Ultralytics YOLOを活用して航空宇宙分野でコンピュータビジョンを導入し、航空機検査、滑走路上のFOD検出、空港の地上業務、複合材の欠陥検出に活用できます。
詳しく見る
セキュリティ分野のコンピュータービジョン

セキュリティ分野のコンピュータービジョン

Ultralytics YOLOモデルであらゆる施設を保護しましょう。ビジョンAIは、周辺監視、脅威検知、ナンバープレート認識、職場の安全管理を支援します。
詳しく見る
ロボティクス分野のコンピュータービジョン

ロボティクス分野のコンピュータービジョン

Ultralytics YOLOモデルで、よりスマートなマシンを実現しましょう。ロボティクスにおけるビジョンAIは、自律ナビゲーション、認識、物体追跡、リアルタイム制御を支援します。
詳しく見る
物流におけるコンピュータービジョン

物流におけるコンピュータービジョン

Ultralytics YOLOモデルで物流を効率化しましょう。ビジョンAIにより、荷物検査、仕分け、車両追跡、倉庫のリアルタイム安全監視を実現します。
詳しく見る
小売業におけるコンピュータービジョン

小売業におけるコンピュータービジョン

Ultralytics YOLOモデルで小売のあり方を変革しましょう。ビジョンAIにより、在庫追跡、棚の監視、行列管理、より高度な顧客インサイトを実現します。
詳しく見る
医療分野におけるコンピュータービジョン

医療分野におけるコンピュータービジョン

Ultralytics YOLOモデルで医療ソリューションを構築しましょう。医療分野のビジョンAIは、医用画像処理の高速化、より高度な診断、患者モニタリングを実現します。
詳しく見る
製造業におけるコンピュータービジョン

製造業におけるコンピュータービジョン

Ultralytics YOLOモデルで製造を最適化しましょう。ビジョンAIは、品質管理、欠陥検出、PPE準拠、組立ラインの自動化を推進します。
詳しく見る
自動車分野におけるコンピュータービジョン

自動車分野におけるコンピュータービジョン

Ultralytics YOLOモデルで自動車分野にコンピュータービジョンを導入しましょう。ビジョンAIは、道路の安全性、運転支援、車両の自動化を向上させ、よりスマートな道路を実現します。
詳しく見る
農業におけるコンピュータービジョン

農業におけるコンピュータービジョン

Ultralytics YOLOモデルでスマート農業にビジョンAIを導入しましょう。作物のモニタリング、家畜の追跡、精密農業を支援し、より高く効率的な収量を実現します。
詳しく見る

AIの未来を一緒に築きましょう!

機械学習の未来に向けた歩みを始めましょう