Epoch

エポックとは、機械学習モデルが学習データセット全体を1回通過することです。1エポックの間に、各学習例はモデルの重みの更新にちょうど1回寄与します。ディープラーニングモデルは通常、1回の通過だけでは十分に学習できないため、学習を複数のエポックにわたって実行します。ネットワークが予測を調整するにつれて、通常はエポックごとに学習データ上の誤差が小さくなります。

エポック、バッチ、イテレーションの違い#

学習実行の構造を表す用語は3つあり、それぞれが1つ前の単位の中に含まれます。

• エポック：学習データセット全体を1回通過することです。
• バッチ：1ステップでまとめて処理するデータ例のグループです。データセット全体を一度にGPUメモリへ収めることは難しいため、通常はデータをシャッフルしてから、各エポックを複数のバッチに分割します。
• イテレーション：損失関数をバッチ上で計算し、誤差逆伝播法によって勾配を逆向きに伝播させた後に行う、重みの更新1回分です。「ステップ」とも呼ばれます。

1エポックあたりのイテレーション数は、データセットのサイズをバッチサイズで割り、切り上げた値です。画像1,000枚のデータセットをバッチサイズ100で学習すると、1エポックあたり10イテレーションとなるため、50エポックで重みの更新は500回になります。PyTorchでは、この構造は、エポックを回す外側のループと、DataLoaderが提供するバッチを処理する内側のループという、2重のループとして表されます。

import torch
from torch.utils.data import DataLoader, TensorDataset

torch.manual_seed(0)

# 1,000 noisy samples of the line y = 3x + 2, served in shuffled batches of 100
x = torch.rand(1000, 1)
y = 3 * x + 2 + 0.1 * torch.randn(1000, 1)
loader = DataLoader(TensorDataset(x, y), batch_size=100, shuffle=True)

model = torch.nn.Linear(1, 1)
optimizer = torch.optim.SGD(model.parameters(), lr=0.5)

for epoch in range(5):  # one epoch = one full pass over all 1,000 samples
    for xb, yb in loader:  # 1,000 / 100 = 10 iterations per epoch
        loss = torch.nn.functional.mse_loss(model(xb), yb)
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()
    print(f"Epoch {epoch + 1}: {len(loader)} iterations, last batch loss {loss.item():.4f}")

各エポックは10イテレーションを実行します。モデルが真の直線に収束するにつれて、最終バッチの損失は1エポック目終了後の0.1096から5エポック目終了後の0.0088へ低下します。データ拡張を使う場合、各エポックではすべての画像が新たに変換されるため、後のエポックでは完全に同じ画像が繰り返されるのではなく、多様性が加わります。

エポック数の選び方#

エポック数は、ハイパーパラメーター調整における主要な設定の1つです。エポック数が少なすぎると、モデルはアンダーフィッティングとなり、学習データと検証データの両方で誤差が大きくなります。多すぎると、過学習に向かいます。この状態ではモデルが学習例を記憶し始めるため、学習損失は下がり続ける一方で検証スコアは停滞または低下します。適切なエポック数は、データセットとモデルのサイズ、学習率のスケジュール、転移学習によって事前学習済み重みから学習を始めるかどうかによって変わります。規模によっても異なります。小規模なビジョンデータセットでは数百エポック学習することがよくありますが、大規模言語モデルはデータの大部分を1回も見ないまま学習を終えることがあります。GPT-3は、フィルタリング済みのCommon Crawlデータを0.44エポック学習しました。

早期終了を使うと、エポック数の選択を自動化できます。各エポック後にモデルを検証データで評価して最良のチェックポイントを保持し、patienceと呼ばれる所定のエポック数にわたって検証スコアが改善しない場合に学習を終了します。

エポックベースの学習スケジュール#

終了時点以外にも、多くの学習設定はエポックに応じて変化します。たとえば、学習率のウォームアップや減衰、データ拡張の強度などです。Ultralytics YOLOの学習では、epochsとpatienceはどちらも既定値が100です。学習率は最初の3エポックでウォームアップし、モザイク拡張は最後の10エポックで無効になります（close_mosaic=10）。これにより、モデルは実際の入力に似た画像で学習を終えます。YOLO26の学習レシピは、モデルサイズによってエポック数がどれほど変わるかを示しています。Objects365で150エポック事前学習した後のCOCOファインチューニングは、YOLO26nでは245エポック、YOLO26xでは40エポック実行されました。

from ultralytics import YOLO

# 事前学習済みYOLO26nモデルを読み込みます
model = YOLO("yolo26n.pt")

# 50エポック学習します：COCO8の学習画像を50回すべて通過します
results = model.train(data="coco8.yaml", epochs=50, imgsz=640)

この実行では、トレーナーは各エポック後にYOLO26モデルを検証し、そのたびにlast.ptを上書きします。また、検出タスクではmAP_50-95となる検証フィットネスが新たな最高値に達するたびに、best.ptを保存します。