Batch Normalization

Batch Normalization（BatchNormと略されることが多い）は、ディープラーニング（DL）において、人工ニューラルネットワークの学習を安定化・高速化するために使用される手法です。これは、以前のレイヤーのパラメータが更新されるにつれて、あるレイヤーへの入力分布が絶えず変化する「内部共変量シフト（internal covariate shift）」という問題を解決するために導入されました。BatchNormは、各ミニバッチに対してレイヤーへの入力を標準化します。レイヤーの入力を平均が0、標準偏差が1になるように正規化し、学習可能なパラメータでスケーリングおよびシフトを行うことで、ネットワークはより高い学習率を使用できるようになり、初期化に対する感度を低減させます。

Link to this sectionBatch Normalizationの仕組み#

標準的な畳み込みニューラルネットワーク（CNN）では、データは各レイヤーが変換を行う層を通って流れます。正規化を行わないと、出力値のスケールが大きく変動し、最適化アルゴリズムが最適な重みを見つけるのが困難になります。Batch Normalizationは通常、活性化関数（ReLUやSiLUなど）の直前に適用されます。

このプロセスには、学習中に主に2つのステップが含まれます。

1. 正規化（Normalization）: レイヤーは、現在のバッチサイズ内のアクティベーションの平均と分散を計算します。次に、バッチの平均を引き、バッチの標準偏差で割ります。

2. スケーリングとシフト（Scaling and Shifting）: ネットワークが複雑な関数を表現できるように、学習可能な2つのパラメータ（ガンマとベータ）が導入されます。これらにより、最適なデータ分布が標準正規分布ではない場合に、ネットワークが正規化を元に戻すことが可能になります。

このメカニズムは一種の正則化として機能し、学習中にアクティベーションへ少量のノイズを加えることで、Dropout層のような他の手法への依存度をわずかに軽減します。

Link to this sectionAI学習における主な利点#

Batch NormalizationをResNetなどのアーキテクチャや最新の物体検出器に統合することで、いくつかの明確な利点が得られます。

• 収束の高速化: 正規化によって勾配が小さくなりすぎたり大きくなりすぎたりするのを防ぎ、勾配消失問題を効果的に抑制するため、モデルの学習が大幅に高速化します。
• 安定性: 初期重みやハイパーパラメータチューニングの選択に対するネットワークの感度が下がり、モデル学習プロセスがより堅牢になります。
• 汎化性能の向上: 最適化のランドスケープを滑らかにすることで、BatchNormはモデルが未知のテストデータに対してより適切に汎化できるようにします。

Link to this section実社会での応用#

Batch Normalizationは、ほぼすべての現代的なコンピュータビジョン（CV）システムの必須要素です。

1. 自動運転: 自動運転車システムでは、Ultralytics YOLO26のようなモデルがビデオフレームを処理して歩行者、車両、標識を検出します。BatchNormは、光の強さや気象条件の変化に関わらず物体検出層が安定した状態を維持し、高い平均適合率（mAP）を保つことを保証します。

2. 医療画像解析: 医療画像における腫瘍検出を行う際、スキャンデータはMRIやCTの機種によって大きく異なる場合があります。BatchNormはこれらの特徴量を内部的に正規化するのに役立ち、AIがピクセル強度の違いではなく構造上の異常に集中できるようになり、ヘルスケアAIソリューションにおける診断精度が向上します。

Link to this sectionBatch Normalizationとデータ正規化の違い#

Batch Normalizationを標準的なデータ正規化と区別することは有益です。

• データ正規化は、学習が始まる前に生入力データセットに対して適用される前処理ステップです（例：画像のリサイズやピクセル値を0から1にスケールする）。この段階では、Albumentationsなどのツールがよく使用されます。
• Batch Normalizationは、学習プロセスそのものの最中にニューラルネットワーク層の「内部」で発生します。データがネットワーク内を流れる際に、ネットワークの内部値を動的に調整します。

Link to this section実装例#

PyTorchなどのディープラーニングフレームワークには、Batch Normalizationの最適化された実装が含まれています。Ultralytics YOLOアーキテクチャでは、これらの層は畳み込みブロックに自動的に統合されています。

以下のPythonコードスニペットは、アーキテクチャ内のどこにBatchNorm2d層が配置されているかを確認するためにモデルを調査する方法を示しています。

from ultralytics import YOLO

# Load the YOLO26n model (nano version)
model = YOLO("yolo26n.pt")

# Print the model structure to view layers
# You will see 'BatchNorm2d' listed after 'Conv2d' layers
print(model.model)

これらの層がどのように相互作用するかを理解することは、開発者がUltralytics Platformを使用してカスタムデータセットでモデルをファインチューニングする際に、データが限られている場合でも学習を安定させるために役立ちます。