Residual Networks (ResNet)

Residual Networks（ResNet）は、極めて深いネットワークのトレーニングを可能にするために設計された、特定の人工ニューラルネットワーク (ANN)アーキテクチャです。2015年にMicrosoftの研究者によって導入されたResNetは、ディープラーニングにおける勾配消失問題として知られる重要なボトルネックを解決しました。従来のネットワークでは、レイヤーを重ねるとモデルの重みを更新するための信号がレイヤーを逆伝播する過程で減衰してしまうため、パフォーマンスが停滞または低下することが多くありました。ResNetは「スキップ接続」（または残差接続）を導入し、データが1つ以上のレイヤーをバイパスして直接後続の処理ステージへ流れるようにしました。このイノベーションにより、より深いネットワークを効果的にトレーニングできることが証明され、コンピュータビジョン (CV)における大きなブレークスルーをもたらし、現代のアーキテクチャの基礎となる概念となりました。

Link to this section核心的な概念：残差学習#

ResNetの決定的な特徴は「残差ブロック」です。標準的な畳み込みニューラルネットワーク (CNN)では、各レイヤーは入力から出力への直接的なマッピングを学習しようとします。ネットワークが深くなるほど、この直接的なマッピングの学習は困難になります。

ResNetはこのアプローチを、学習の目的を異なる方法で定式化することで変更します。レイヤーの各スタックが基礎となるマッピング全体を学習することを期待するのではなく、残差ブロックはレイヤーに「残差」、つまり入力と目的の出力との間の差を学習させます。元の入力は、スキップ接続を通じて学習された残差に加算されます。この構造的な変更は、恒等写像（入力を変更せずに渡すこと）が最適である場合、ネットワークが残差をゼロにするように容易に学習できることを意味します。これによりディープラーニング (DL)モデルの最適化がはるかに容易になり、数十から数百、さらには数千のレイヤーへとスケーリングが可能になります。

Link to this section主要なアーキテクチャのバリエーション#

誕生以来、いくつかのResNetのバリエーションがAIコミュニティにおける標準的なベンチマークとなっています。

• ResNet-50: 「ボトルネック」設計を採用した50層バージョンです。この設計では、1x1畳み込みを使用して次元を削減してから復元することで、高い精度を維持しながら計算効率を高めています。
• ResNet-101およびResNet-152: それぞれ101層および152層の、より深いバリエーションです。これらは、計算リソースが許容する場合に、より複雑な特徴マップを抽出するために使用されます。
• ResNeXt: ResNetの進化版で、「カーディナリティ」次元を導入し、残差ブロックを複数の並列パスに分割することで効率とパフォーマンスを向上させています。

Link to this section実社会での応用#

ResNetアーキテクチャの堅牢性は、幅広い視覚タスクにおいて選ばれる理由となっています。

• 医療画像解析: ヘルスケア分野では、高解像度スキャンにおけるわずかな異常の特定が不可欠です。ResNetベースのモデルは、医療画像における腫瘍検出のような条件を検出するためによく使用され、ネットワークの深さがMRIやCTデータ内の細かなパターンの識別を助けます。
• Autonomous Vehicles: Self-driving cars require reliable feature extraction from camera feeds to identify pedestrians, signs, and obstacles. ResNets often serve as the backbone for object detection systems in AI in automotive applications, providing the rich visual features needed for safe navigation.

Link to this sectionResNet対その他のアーキテクチャ#

ResNetの具体的な有用性を理解するために、他の一般的なアーキテクチャと区別することは有益です。

• ResNet対VGG: VGG (Visual Geometry Group) ネットワークも深いCNNですが、残差接続がありません。その結果、ResNetと同等の深さでトレーニングすることがはるかに困難であり、大きな全結合層のために計算コストも一般的に高くなります。
• ResNet対Inception: Inceptionネットワークは幅に焦点を当て、同じレイヤー内で複数のサイズのフィルタを使用してさまざまなスケールの特徴をキャプチャします。ResNetは深さに焦点を当てています。Inception-ResNetのような現代のアーキテクチャは、両方の概念を組み合わせています。
• ResNet対Vision Transformer (ViT): ViTはセルフアテンションメカニズムを使用して画像をグローバルに処理しますが、ResNetは局所的な畳み込みに依存しています。それでも、ResNetは強力なベースラインであり、小規模なデータセットやリアルタイム推論においては、依然として高速なことが多いです。

Link to this section実装例#

Modern deep learning libraries like PyTorch make it simple to access pre-trained ResNet models. These models are invaluable for transfer learning, where a model trained on a large dataset like ImageNet is fine-tuned for a specific task.

以下のPythonスニペットは、torchvision（PyTorchエコシステムの一部）を使用して事前学習済みのResNet-50モデルを読み込み、単純な順伝播を行う方法を示しています。Ultralytics Platformのユーザーは検出にYOLO26をよく使用するかもしれませんが、ResNetのような基盤となるバックボーンの概念を理解することは、高度なカスタマイズにおいて重要です。

import torch
import torchvision.models as models

# Load a pre-trained ResNet-50 model
resnet50 = models.resnet50(weights=models.ResNet50_Weights.DEFAULT)
resnet50.eval()  # Set model to evaluation mode

# Create a dummy input tensor (batch_size, channels, height, width)
input_tensor = torch.randn(1, 3, 224, 224)

# Perform a forward pass to get predictions
with torch.no_grad():
    output = resnet50(input_tensor)

print(f"Output shape: {output.shape}")  # Expect [1, 1000] for ImageNet classes

Link to this section現代のAIにおける重要性#

YOLO26のような新しいアーキテクチャは、最高の速度と精度を実現するために高度に最適化された構造を採用していますが、残差学習の原則は依然として至る所に存在します。スキップ接続の概念は、自然言語処理 (NLP)で使用されるTransformerや最新の物体検出モデルを含む、多くの高度なネットワークにおける標準的なコンポーネントとなっています。情報をネットワーク全体により自由に流れるようにすることで、ResNetは今日の人工知能を支える深く複雑なモデルへの道を切り開きました。