Batch Size

機械学習、特にディープラーニングの分野において、Batch Size（バッチサイズ）とは、モデルのトレーニングの1イテレーションで使用されるトレーニングサンプルの数を指します。メモリの制約により計算上不可能であることが多いトレーニングデータ全体を一度にニューラルネットワークに入力するのではなく、データセットはバッチと呼ばれる小さなサブセットに分割されます。モデルは1つのバッチを処理してエラーを計算し、次のバッチに進む前に逆伝播を介して内部のモデル重みを更新します。このハイパーパラメータは、トレーニングの速度と学習プロセスの安定性の両方を決定する上で極めて重要な役割を果たします。

バッチを用いたトレーニングのダイナミクス#

バッチサイズの選択は、通常確率的勾配降下法のバリエーションである最適化アルゴリズムが損失の地形をどのように移動するかを根本的に変化させます。

• 小さいバッチサイズ: 8や16といった小さな数値を使用すると、「ノイズ」の多い更新が行われます。データセット全体に対する勾配の推定精度は下がりますが、このノイズによってモデルが局所最適解から脱出しやすくなり、結果として汎化性能が向上する場合があります。ただし、バッチサイズが小さいとエポックあたりの更新回数が増えるため、オーバーヘッドにより実時間（ウォールクロックタイム）で見るとトレーニングが遅くなる可能性があります。
• **大きなバッチサイズ：**より大きなバッチ（例: 128または256）は、勾配のより正確な推定値を提供し、損失関数のよりスムーズな収束につながります。これにより、最新のハードウェアでの大規模な並列処理が可能になり、計算が大幅に高速化されます。ただし、バッチが大きすぎると、モデルが急峻で最適ではない極小値に落ち着く可能性があり、オーバーフィッティングや新しいデータに対する汎化能力の低下につながります。

ハードウェアとメモリへの影響#

実践者は、純粋に理論的な好みではなく、ハードウェアの制限に基づいてバッチサイズを選択しなければならないことがよくあります。ディープラーニングモデル、特にTransformerや高度な畳み込みネットワークなどの大規模なアーキテクチャは、GPUのVRAMに格納されます。

アクセラレーションにNVIDIA CUDAを利用する場合、VRAMにはモデルパラメータ、入力データのバッチ、および勾配計算に必要な中間アクティベーション出力が保持されている必要があります。バッチサイズが利用可能なメモリを超えると、トレーニングは「Out of Memory」（OOM）エラーでクラッシュします。混合精度トレーニングなどのテクニックは、メモリ使用量を削減するために頻繁に使用され、同じハードウェアでより大きなバッチサイズを可能にします。

関連概念の区別#

トレーニングを効果的に構成するためには、バッチサイズとトレーニングループにおける他の時間的用語を区別することが不可欠です。

• **Batch Size vs. Epoch：**エポックは、トレーニングデータセット全体の1つの完全なパスを表します。バッチサイズは、そのエポック内でデータがいくつに分割されるかを決定します。たとえば、1,000枚の画像があり、バッチサイズが100の場合、1つのエポックを完了するのに10回のイテレーションがかかります。
• **Batch Size vs. Iteration：**イテレーション（またはステップ）とは、1つのバッチを処理して重みを更新する動作のことです。トレーニングにおける総イテレーション数は、エポックあたりのバッチ数にエポックの総数を掛けたものです。
• **Batch Size vs. Batch Normalization：**名前は似ていますが、Batch Normalizationは、現在のバッチの平均と分散に基づいてレイヤー入力を正規化する特定のレイヤータイプです。このテクニックはバッチサイズに大きく依存しており、バッチサイズが小さすぎる（例: 2）場合、統計的推定値の信頼性が低下し、パフォーマンスが低下する可能性があります。

実社会での応用#

バッチサイズの調整は、さまざまな業界でコンピュータビジョンソリューションを展開する際の日常的な必要事項です。

1. 高精度な医療画像処理：ヘルスケア分野におけるAIの分野では、実務者はMRIやCTスキャンなどの3Dボリュームデータを使用することがよくあります。これらのファイルは非常に高密度でメモリ集約型です。医療画像解析や複雑な画像セグメンテーションなどのタスクをシステムをクラッシュさせずに実行するため、エンジニアはバッチサイズを非常に小さな数値、場合によってはバッチサイズ1に減らすことがよくあります。ここでは、生のトレーニング速度よりも高解像度な詳細の処理が優先されます。

2. **産業用品質管理：**逆に、製造業におけるAIでは速度が最も重要です。コンベアベルト上の製品を検査する自動システムでは、1時間に何千もの画像を処理する必要があります。推論中、エンジニアは受信したカメラフィードをより大きなバッチに集約して、エッジAIデバイスの利用率を最大化し、リアルタイムの欠陥検出のための高いスループットを確保することができます。

Pythonでのバッチサイズの設定#

Ultralytics Python packageを使用する場合、バッチサイズの設定は簡単です。固定の整数を指定するか、動的な batch=-1 設定を使用できます。これはAutoBatch機能を利用して、ハードウェアが安全に処理できる最大バッチサイズを自動的に計算します。

次の例は、速度と精度の最新標準であるYOLO26モデルを特定の設定を使用してトレーニングする方法を示しています。

from ultralytics import YOLO

# Load the YOLO26n model (nano version for speed)
model = YOLO("yolo26n.pt")

# Train on the COCO8 dataset
# batch=16 is manually set.
# Alternatively, use batch=-1 for auto-tuning based on available GPU memory.
results = model.train(data="coco8.yaml", epochs=5, batch=16)

大規模な実験を管理し、異なるバッチサイズがトレーニング指標にどのように影響するかを視覚化するために、Ultralytics Platformなどのツールは、実行の記録と比較のための包括的な環境を提供します。バッチサイズの適切なハイパーパラメータチューニングは、多くの場合、モデルから最高のパフォーマンスを引き出すための最後のステップとなります。