残留ネットワーク（ResNet）

一般にResNetとして知られるResidual Networksは、深層学習の分野に大きな影響を与えた画期的なタイプのニューラルネットワーク（NN）アーキテクチャである。2015年の論文「Deep Residual Learning for Image Recognition」でKaiming Heらによって紹介されたResNetは、数百、数千の層を持つ極めて深いニューラルネットワークを効果的に学習することを可能にした。これは、「スキップ接続」を持つ「残差ブロック」を導入することで達成されたもので、非常に深いネットワークを一般的に悩ませる消失勾配問題を緩和する、シンプルかつ強力なコンセプトである。

ResNetの仕組み

ResNetの革新の核心は、スキップ接続やショートカットの使用である。従来の畳み込みニューラルネットワーク（CNN）では、各レイヤーはその出力を次のレイヤーに順番に直接フィードする。ネットワークが深くなるにつれて、ネットワークが学習したり、学習中に勾配が伝搬したりするのが難しくなってくる。このため、レイヤーを増やせば増やすほど、モデルの性能が低下してしまう。

ResNetは、レイヤー（またはレイヤーのブロック）の入力をその出力に追加できるようにすることで、この問題に対処している。このスキップ接続は、勾配が流れるための代替経路を作り出し、非常に深いネットワークでも効果的に学習できるようにする。この構造により、ネットワークは残差関数を学習することができる。基本的に、レイヤーは変換全体ではなく、入力からの変化または残差のみを学習すればよい。あるレイヤーが有益でない場合、ネットワークはそのレイヤーの重みをゼロに近づけることで、そのレイヤーを無視することを簡単に学習することができる。

ResNetと他のアーキテクチャの比較

• 標準的なCNN：標準的な逐次CNNとは異なり、ResNetsは残差学習のおかげで、性能を落とすことなく、より深く成長することができる。この深さにより、より複雑な特徴を学習し、困難なタスクでより高い精度を達成することができます。
• Uネット：U-Netもスキップ接続を使用するが、その目的は異なる。U-Netでは、スキップ接続がダウンサンプリングパスからアップサンプリングパスにレイヤーをリンクし、正確な画像セグメンテーションのための空間情報を回復する。ResNetでは、接続は一般的に短く、勾配フローを改善し、より深いアーキテクチャを可能にするように設計されている。

実世界での応用

ResNetの強力な特徴抽出機能は、多くの複雑なコンピュータビジョンタスクの バックボーンとしてよく選ばれています。

• 医療画像解析：医療用AIでは、ResNetアーキテクチャがX線、CT、MRIなどの医療用スキャン画像の解析に使用されている。例えば、ResNetベースのモデルを脳スキャンのデータセットでトレーニングすることで、放射線科医による腫瘍の早期発見を支援し、診断精度とスピードを向上させることができます。
• 自律走行：自動運転車のシステムは、リアルタイムの知覚のためにロバスト・バックボーンに依存している。ResNetは、物体検出、歩行者、車両、交通標識の識別のためのカメラ入力処理によく使用され、これはWaymoのような企業が開発した安全なナビゲーションシステムにとって極めて重要です。

ツールと実装

ResNetアーキテクチャは、PyTorchや TensorFlowのような主要な深層学習フレームワークで広く実装されている。多くの場合、大規模なImageNetデータセットでトレーニングされた事前トレーニング済みモデルは、torchvisionのようなライブラリを通じて容易に入手でき、カスタムアプリケーションのための効果的な転移学習を容易にします。Ultralytics HUBのようなプラットフォームは、ユーザーがResNetベースのモデルを含む様々なアーキテクチャを活用して、特定のニーズに合わせたカスタムモデルを訓練することを可能にします。ResNetは強力なパフォーマンス・ベースラインを設定しましたが、その後EfficientNetのような新しいアーキテクチャが開発され、より優れた効率を提供しています。スタンフォード大学のCS231nコースや、DeepLearning.AIのようなプロバイダーのコースで、CNNに関するより多くの教育リソースを見つけることができます。