YOLOのライセンス
Ultralytics用語集に戻る

Gradient Checkpointing

勾配チェックポイントでは、順伝播時に一部の活性化値だけを保存し、残りを逆伝播時に再計算することで、計算量と引き換えにメモリ使用量を抑えます。

勾配チェックポイントは、順伝播時の中間活性化を一部だけ保持し、残りを誤差逆伝播で必要になった時点で再計算することでメモリを節約する学習手法です。活性化チェックポイント、または再マテリアル化とも呼ばれます。Tianqi Chen氏、Bing Xu氏、Chiyuan Zhang氏、Carlos Guestrin氏は、2016年4月の論文Training Deep Nets with Sublinear Memory Costで深層学習向けにこの手法を広めました。この論文では、追加の順伝播を1回行うコストで、n層ネットワークを√nに比例するメモリ量で学習できることを示しました。ImageNet用の1,000層残差ネットワークでは、この手法によりメモリ使用量を48 GBから7 GBに削減し、学習時間の増加は約30%に抑えられました。

グラディエントチェックポイントの仕組み#

通常の順伝播では、後で勾配を計算する際に必要となるため、自動微分エンジンはほぼすべての演算の出力を保存します。深いネットワーク、大きなバッチ、高解像度画像、または長いシーケンスでは、活性化がモデルの重みよりもはるかに多くのGPUメモリを消費します。チェックポイントではネットワークをセグメントに分割し、各セグメントの入力だけを保持します。逆伝播がセグメントに到達すると、保存済みの入力からそのセグメントの順伝播を再実行し、逆伝播を行い、再構築した活性化を解放してから、前のセグメントへ進みます。

PyTorchではtorch.utils.checkpoint.checkpointとして、JAXではjax.checkpointとして利用できます。8ブロックのネットワークで自動微分エンジンが保存する活性化を数えると、メモリ削減効果と勾配が変化しないことを確認できます。

import torch
from torch import nn
from torch.utils.checkpoint import checkpoint

torch.manual_seed(0)
model = nn.Sequential(*[nn.Sequential(nn.Linear(1024, 4096), nn.GELU(), nn.Linear(4096, 1024)) for _ in range(8)])
x = torch.randn(256, 1024)
weights = {p.data_ptr() for p in model.parameters()}
saved, grads = [], []

for use_checkpoint in (False, True):
    saved.clear()
    # Record every tensor autograd keeps for the backward pass
    with torch.autograd.graph.saved_tensors_hooks(lambda t: saved.append(t) or t, lambda t: t):
        h = x
        for block in model:  # a checkpointed block keeps only its input and reruns its forward pass in backward
            h = checkpoint(block, h, use_reentrant=False) if use_checkpoint else block(h)
    h.square().mean().backward()
    activations = sum(t.numel() * t.element_size() for t in saved if t.data_ptr() not in weights)
    print(f"checkpoint={use_checkpoint}: {activations / 2**20:.0f} MB of stored activations")
    grads.append(model[0][0].weight.grad.clone())
    model.zero_grad()

print("Identical gradients:", torch.equal(*grads))

チェックポイントを使わない場合に保存される活性化の72 MB、使用した場合の8 MB、およびIdentical gradients: Trueが出力されます。各ブロックは通常、入力の1 MBと2つの4 MBの隠れテンソルを合わせて9 MBを保存します。チェックポイントを使う場合は入力だけを保持し、逆伝播時に一度に1ブロック分の9 MBを再構築します。

再計算対象の選び方#

すべてのブロックにチェックポイントを設定すると最もメモリを節約できますが、順伝播のほぼ全体を再実行するため、一般的なレイヤーでは計算量が約3分の1増加します。選択的再計算では、出力が大きく計算コストが低い演算を対象にします。NVIDIAのVijay Korthikanti氏らは、Transformer注意機構の中核、つまりスコア計算、softmax、dropout、値の重み付けだけを再計算し、シーケンス並列処理と組み合わせることで、活性化メモリを5分の1に削減し、再計算のオーバーヘッドを90%以上取り除きました。Flash Attentionは、保存する代わりに逆伝播時に注意スコアを再計算することで、1つのカーネル内に同じ考え方を適用します。GPipeは、パイプライン並列処理のステージ境界でのみ活性化を保存し、各ステージ内のすべてを再計算します。

再計算では、元の順伝播を完全に再現する必要があります。PyTorchは乱数生成器の状態を復元し、dropoutマスクが一致するようにします。また、Hugging Face Transformersのモデルは、チェックポイントを有効にして学習する際にKVキャッシュを無効にします。キャッシュされた推論状態は、レイヤーの再実行と両立しないためです。

  • 勾配累積:大きなバッチをマイクロバッチに分割し、1つずつ実行します。追加の計算をせずにステップあたりの活性化を減らせますが、ステップ数は増加します。
  • 混合精度:活性化をBF16などの16ビット形式で保存することで、メモリ使用量を半減し、通常は学習を高速化します。
  • 学習チェックポイント:学習の再開やデプロイに備えて保存する重みとオプティマイザー状態のファイルであり、ここでの用語とは別の意味です。

大規模言語モデル (LLM)を単一GPUでファインチューニングする場合や、大きな医療画像または航空画像で学習する画像セグメンテーションモデルの特徴マップがメモリを大きく消費する場合に、チェックポイントはよく使われます。Hugging FaceのTrainerではgradient_checkpointing=Trueで有効にできます。Ultralytics YOLO26の学習では、すべての活性化を保存し、代わりにバッチサイズでメモリに収めます。学習モードのbatch=-1はAutoBatchを実行します。複数のバッチサイズでメモリをプロファイリングし、GPUメモリの60%を使うと予測される値を選択します。batch=0.70のような小数を指定すると、この目標値を70%に設定できます。

ソリューションを見る

スポーツにおけるコンピュータービジョン

スポーツにおけるコンピュータービジョン

Ultralytics YOLOが、選手やボールの追跡、パフォーマンス分析、コーチングへの知見、アスリートのリハビリを通じて、スポーツビジョンをどのように支えるかをご紹介します。
詳しく見る
航空画像向けコンピュータービジョン

航空画像向けコンピュータービジョン

Ultralytics YOLOを使用して、ドローンや航空画像をリアルタイムの知見に変換し、農業、水産養殖、自然保護、地理空間分析に活用できます。
詳しく見る
航空宇宙分野のコンピュータービジョン

航空宇宙分野のコンピュータービジョン

Ultralytics YOLOを活用して航空宇宙分野でコンピュータビジョンを導入し、航空機検査、滑走路上のFOD検出、空港の地上業務、複合材の欠陥検出に活用できます。
詳しく見る
セキュリティ分野のコンピュータービジョン

セキュリティ分野のコンピュータービジョン

Ultralytics YOLOモデルであらゆる施設を保護しましょう。ビジョンAIは、周辺監視、脅威検知、ナンバープレート認識、職場の安全管理を支援します。
詳しく見る
ロボティクス分野のコンピュータービジョン

ロボティクス分野のコンピュータービジョン

Ultralytics YOLOモデルで、よりスマートなマシンを実現しましょう。ロボティクスにおけるビジョンAIは、自律ナビゲーション、認識、物体追跡、リアルタイム制御を支援します。
詳しく見る
物流におけるコンピュータービジョン

物流におけるコンピュータービジョン

Ultralytics YOLOモデルで物流を効率化しましょう。ビジョンAIにより、荷物検査、仕分け、車両追跡、倉庫のリアルタイム安全監視を実現します。
詳しく見る
小売業におけるコンピュータービジョン

小売業におけるコンピュータービジョン

Ultralytics YOLOモデルで小売のあり方を変革しましょう。ビジョンAIにより、在庫追跡、棚の監視、行列管理、より高度な顧客インサイトを実現します。
詳しく見る
医療分野におけるコンピュータービジョン

医療分野におけるコンピュータービジョン

Ultralytics YOLOモデルで医療ソリューションを構築しましょう。医療分野のビジョンAIは、医用画像処理の高速化、より高度な診断、患者モニタリングを実現します。
詳しく見る
製造業におけるコンピュータービジョン

製造業におけるコンピュータービジョン

Ultralytics YOLOモデルで製造を最適化しましょう。ビジョンAIは、品質管理、欠陥検出、PPE準拠、組立ラインの自動化を推進します。
詳しく見る
自動車分野におけるコンピュータービジョン

自動車分野におけるコンピュータービジョン

Ultralytics YOLOモデルで自動車分野にコンピュータービジョンを導入しましょう。ビジョンAIは、道路の安全性、運転支援、車両の自動化を向上させ、よりスマートな道路を実現します。
詳しく見る
農業におけるコンピュータービジョン

農業におけるコンピュータービジョン

Ultralytics YOLOモデルでスマート農業にビジョンAIを導入しましょう。作物のモニタリング、家畜の追跡、精密農業を支援し、より高く効率的な収量を実現します。
詳しく見る

AIの未来を一緒に築きましょう!

機械学習の未来に向けた歩みを始めましょう