Residual Networks (ResNet)

一般にResNetとして知られるResidual Networksは、ニューラルネットワーク（NN）アーキテクチャの画期的なタイプであり、深層学習の分野に大きな影響を与えてきました。Kaiming Heらが2015年の論文「Deep Residual Learning for Image Recognition」で発表したResNetは、数百、数千ものレイヤーを持つ非常に深いニューラルネットワークを効果的にトレーニングすることを可能にしました。これは、非常に深いネットワークでよく見られる勾配消失問題を軽減する、シンプルながら強力なコンセプトである「スキップ接続」を備えた「残差ブロック」を導入することで実現されました。

ResNetはどのように機能するか

ResNetの中核となる革新は、スキップ接続またはショートカットの使用です。従来のConvolutional Neural Network (CNN)では、各層はその出力をシーケンス内の次の層に直接供給します。ネットワークが深くなるにつれて、ネットワークが学習し、トレーニング中に勾配が逆伝播することがますます困難になります。これにより、層を追加するとモデルのパフォーマンスが実際に低下する状況が発生する可能性があります。

ResNetは、あるレイヤー（またはレイヤーのブロック）の入力をその出力に加えることを可能にすることで、この問題に対処します。このスキップ接続は、勾配が通過するための代替パスを作成し、非常に深いネットワークであっても効果的にトレーニングできるようにします。この構造により、ネットワークは残差関数を学習できます。本質的に、レイヤーは変換全体ではなく、入力からの変化または残差のみを学習する必要があります。レイヤーが有益でない場合、ネットワークは重みをゼロに近づけることで、それを無視するように簡単に学習でき、スキップ接続を介して恒等マッピングを渡すことができます。

ResNetと他のアーキテクチャの比較

• 標準的なCNN: 標準的な逐次型CNNとは異なり、ResNetは残差学習により、性能を損なうことなく大幅に層を深くすることができます。この深さにより、より複雑な特徴を学習し、困難なタスクでより高い精度を達成できます。
• U-Net: U-Netもスキップ接続を使用しますが、その目的は異なります。U-Netでは、スキップ接続は、ダウンサンプリングパスからアップサンプリングパスへのレイヤーをリンクし、正確な画像セグメンテーションのための空間情報を回復します。ResNetでは、接続は通常より短く、勾配の流れを改善し、より深いアーキテクチャを可能にするように設計されています。

実際のアプリケーション

ResNetの強力な特徴抽出機能により、多くの複雑なコンピュータビジョンタスクのバックボーンとして人気があります。

• 医用画像解析：医療向けAIでは、ResNetアーキテクチャがX線、CT、MRIなどの医療スキャンを分析するために使用されます。たとえば、ResNetベースのモデルを脳スキャンのデータセットでトレーニングして、放射線科医による早期の腫瘍検出を支援し、診断の精度と速度を向上させることができます。
• 自動運転: 自動運転車のシステムは、リアルタイムの知覚のための堅牢なバックボーンに依存しています。ResNetは、物体検出のためにカメラ入力を処理するために使用されることが多く、歩行者、車両、および交通標識を識別します。これは、Waymoのような企業によって開発された安全なナビゲーションシステムにとって非常に重要です。

ツールと実装

ResNetアーキテクチャは、PyTorchやTensorFlowなどの主要な深層学習フレームワークで広く実装されています。大規模なImageNetデータセットでトレーニングされた事前トレーニング済みのモデルは、torchvisionなどのライブラリを通じて容易に入手でき、カスタムアプリケーション向けの効果的な転移学習を促進します。Ultralytics HUBのようなプラットフォームを使用すると、ユーザーはResNetベースのモデルを含むさまざまなアーキテクチャを活用して、特定のニーズに合わせてカスタムモデルをトレーニングできます。ResNetは強力なパフォーマンスのベースラインを確立しましたが、それ以降、より優れた効率を提供するようにEfficientNetのような新しいアーキテクチャが開発されています。CNNに関するより多くの教育リソースは、スタンフォード大学のCS231nコース、またはDeepLearning.AIなどのプロバイダーのコースを通じて見つけることができます。