バッチ・ノーマライゼーション

バッチ正規化（しばしばBatchNormと略される）は、ディープ・ニューラル・ネットワークにおいて、学習プロセスを安定させ、高速化するために使用されるテクニックである。Sergey IoffeとChristian Szegedyが2015年の論文で紹介したもので、データのミニバッチごとに各層への入力を正規化することで機能する。これは、「内部共変量シフト」と呼ばれる、前の層のパラメータが変化するにつれて各層の入力分布が学習中に変化する現象を低減する効果がある。より安定した入力分布を維持することで、バッチ正規化はディープ・ネットワークのより高速で安定した学習を可能にする。

バッチ正規化の仕組み

モデルの学習プロセスにおいて、データはバッチと呼ばれる小グループでネットワークに渡される。バッチ正規化レイヤーは、通常、畳み込みレイヤーまたは完全接続レイヤーの後、活性化関数の前に挿入され、各バッチに対して2つの主要なステップを実行する：

1. 正規化：現在のバッチ内のアクティブ度の平均と分散を計算します。次にこれらの統計値を使用してアクティブを正規化し、平均を0、分散を1にします。このステップにより、次のレイヤへの入力が一貫したスケールになるようにします。
2. スケーリングとシフト：活性度を正規化すると、レイヤーの表現力が制限される可能性がある。これを打ち消すために、このレイヤーは学習可能な2つのパラメー タ-スケーリング係数（ガンマ）とシフティング係数（ベータ）を導入する。これらのパラメータにより、ネットワークは次のレイヤーへの入力の最適なスケー ルと平均を学習し、ネットワークが最適と判断した場合は、正規化を効果的に取り消すことができる。

推論中、モデルはバッチではなく単一例を処理する。したがって、バッチ固有の平均と分散は利用できません。その代わりに、モデルは訓練データセット全体から計算された集約平均と分散を使用します。これにより、モデルの出力が決定論的で一貫していることが保証されます。

バッチ正規化の利点

ディープラーニングモデルにバッチ正規化を実装すると、いくつかの重要な利点がある：

• より速い学習：入力分布を安定化させることにより、バッチノルムはより高い学習率を使用することを可能にし、モデルの収束を大幅に早めます。
• 内部共変量シフトの低減：これはバッチ正規化が解決するために設計された主な問題である。初期のレイヤーのパラメーターの変化によって、後のレイヤーへの入力の分布がシフトし、トレーニングが難しくなるという問題を軽減する。
• 正規化効果：バッチ正規化は、バッチベースの統計により、各レイヤーのアクティブ化に少量のノイズを加えます。このノイズは正則化の一種として働き、オーバーフィッティングを防ぎ、ドロップアウトのような他のテクニックの必要性を減らすのに役立ちます。
• 初期化への依存を減らす：ネットワークを初期重みの影響を受けにくくし、学習プロセスをよりロバストにする。

実世界での応用

バッチ正規化は、Ultralytics YOLOのような最先端のアーキテクチャを含む、現代のコンピュータビジョンモデルにおいてほぼ普遍的なコンポーネントである。

• 画像分類： ImageNetのような大規模なデータセットで訓練されたモデルでは、バッチ正規化は、ResNetのような非常に深いネットワークを訓練する際に、勾配の消失などの問題を防ぐために非常に重要です。これにより、写真の中の物体を分類するようなタスクにおいて、より高い精度を実現することができます。
• 医療画像解析：MRIやCTスキャンから腫瘍検出や臓器のセグメンテーションのモデルをトレーニングする場合、バッチ正規化により、異なるマシンや患者間での画像強度のばらつきがトレーニングに悪影響を与えないようにします。これにより、ヘルスケアにおけるAIのための、より信頼性が高く堅牢な診断ツールが実現します。

関連概念と区別

バッチ・ノーマライゼーションは、他の関連概念と区別することが重要である：

• データの正規化：一般的なデータ正規化は、訓練開始前に入力データに適用される前処理ステップである。一方、バッチ正規化は、学習中にネットワーク内部で発生する動的なプロセスであり、レイヤー間のアクティブ度を正規化する。
• その他の正規化レイヤー： レイヤー正規化、インスタンス正規化、グループ正規化など、他の手法も存在する。主な違いは正規化の範囲である。バッチ正規化がバッチ次元全体にわたって正規化するのに対して、レイヤー正規化は1つの学習例の特徴量全体にわたって正規化し、バッチサイズに依存しない。これらの選択肢は、NLPのようなドメインや小さなバッチサイズが必要な場合によく使われる。

考察と実装

バッチ正規化の重要な考慮点は、学習中のミニバッチサイズに依存することです。バッチサイズが小さすぎると（例えば1や2）、バッチ統計量が母集団統計量のノイズの多い推定値になるため、パフォーマンスが低下する可能性がある。標準的なディープラーニングフレームワーク パイトーチ (torch.nn.BatchNorm2dそして テンソルフロー (tf.keras.layers.BatchNormalization)がロバストな実装を提供している。代替手段があるにもかかわらず、バッチ正規化は、多くの最新のディープラーニングモデルを効果的にトレーニングするための基本的なテクニックであり続けている。このような技術を組み込んだモデルを管理・訓練するには、次のようなプラットフォームを使用します。 ウルトラリティクス・ハブ.