Gradient Checkpointing
Beim Gradient Checkpointing werden im Vorwärtsdurchlauf nur einige Aktivierungen gespeichert und die übrigen während der Rückwärtspropagation neu berechnet. So wird Rechenaufwand gegen Speicherbedarf eingetauscht.
Gradient-Checkpointing ist eine Trainingstechnik, die Speicherplatz spart, indem nur einige Zwischenaktivierungen des Vorwärtsdurchlaufs gespeichert und die übrigen neu berechnet werden, wenn sie für die Rückpropagierung benötigt werden. Die Technik wird auch Aktivierungs-Checkpointing oder Rematerialisierung genannt. Tianqi Chen, Bing Xu, Chiyuan Zhang und Carlos Guestrin machten sie im April 2016 mit ihrer Arbeit Training Deep Nets with Sublinear Memory Cost für das Deep Learning bekannt. Sie zeigten, dass ein Netzwerk mit n Schichten bei einem zusätzlichen Vorwärtsdurchlauf mit einem Speicherbedarf proportional zu √n trainiert werden kann. Bei einem Residualnetzwerk mit 1.000 Schichten für ImageNet verringerte ihre Methode den Speicherbedarf von 48 GB auf 7 GB, bei einer um etwa 30 % längeren Trainingszeit.
So funktioniert Gradienten-Checkpointing#
Bei einem normalen Vorwärtsdurchlauf speichert die Autograd-Engine die Ausgaben fast aller Operationen, weil sie später für die Berechnung der Gradienten benötigt werden. Bei tiefen Netzwerken, großen Stapelgrößen, hochauflösenden Bildern oder langen Sequenzen beanspruchen diese Aktivierungen deutlich mehr GPU-Speicher als die Modellgewichte. Beim Checkpointing wird das Netzwerk in Abschnitte unterteilt, wobei nur die Eingabe jedes Abschnitts gespeichert wird. Erreicht der Rückwärtsdurchlauf einen Abschnitt, führt er dessen Vorwärtsdurchlauf anhand der gespeicherten Eingabe erneut aus, berechnet die Gradienten und gibt die neu erstellten Aktivierungen frei, bevor er zum vorherigen Abschnitt wechselt:
PyTorch bietet diese Funktion unter torch.utils.checkpoint.checkpoint an, JAX unter jax.checkpoint. Wenn man die Aktivierungen zählt, die Autograd für ein Netzwerk mit acht Blöcken speichert, sieht man sowohl die Einsparung als auch, dass sich die Gradienten nicht ändern:
import torch
from torch import nn
from torch.utils.checkpoint import checkpoint
torch.manual_seed(0)
model = nn.Sequential(*[nn.Sequential(nn.Linear(1024, 4096), nn.GELU(), nn.Linear(4096, 1024)) for _ in range(8)])
x = torch.randn(256, 1024)
weights = {p.data_ptr() for p in model.parameters()}
saved, grads = [], []
for use_checkpoint in (False, True):
saved.clear()
# Record every tensor autograd keeps for the backward pass
with torch.autograd.graph.saved_tensors_hooks(lambda t: saved.append(t) or t, lambda t: t):
h = x
for block in model: # a checkpointed block keeps only its input and reruns its forward pass in backward
h = checkpoint(block, h, use_reentrant=False) if use_checkpoint else block(h)
h.square().mean().backward()
activations = sum(t.numel() * t.element_size() for t in saved if t.data_ptr() not in weights)
print(f"checkpoint={use_checkpoint}: {activations / 2**20:.0f} MB of stored activations")
grads.append(model[0][0].weight.grad.clone())
model.zero_grad()
print("Identical gradients:", torch.equal(*grads))Die Ausgabe zeigt 72 MB gespeicherte Aktivierungen ohne Checkpointing, 8 MB mit Checkpointing und Identical gradients: True. Jeder Block speichert normalerweise 9 MB: seine Eingabe mit 1 MB und zwei verborgene Tensoren mit je 4 MB. Beim Checkpointing wird nur die Eingabe gespeichert, und der Rückwärtsdurchlauf erstellt jeweils einen Block mit 9 MB neu.
Auswahl der neu zu berechnenden Werte#
Checkpointing für jeden Block spart am meisten Speicher, führt aber fast den gesamten Vorwärtsdurchlauf erneut aus und verursacht bei einer typischen Schicht etwa ein Drittel mehr Rechenaufwand. Selektives Neuberechnen konzentriert sich auf Operationen, deren Ausgaben groß, aber günstig zu berechnen sind. Vijay Korthikanti von NVIDIA und seine Kollegen berechneten nur den Kern der Transformer-Aufmerksamkeit neu: die Berechnung der Scores, Softmax, Dropout und Gewichtung der Werte. In Kombination mit Sequenzparallelisierung verringerten sie den Aktivierungsspeicher um das Fünffache und beseitigten mehr als 90 % des zusätzlichen Rechenaufwands. Flash Attention setzt dieselbe Idee innerhalb eines Kernels um, indem es die Aufmerksamkeits-Scores während des Rückwärtsdurchlaufs neu berechnet, statt sie zu speichern. GPipe speichert Aktivierungen nur an den Grenzen zwischen den Stufen der Pipeline-Parallelisierung und berechnet innerhalb jeder Stufe alles neu.
Die Neuberechnung muss den ursprünglichen Vorwärtsdurchlauf exakt reproduzieren. PyTorch stellt den Zustand des Zufallszahlengenerators wieder her, damit die Dropout-Masken übereinstimmen. Hugging-Face-Transformers-Modelle deaktivieren beim Training mit eingeschaltetem Checkpointing ihren KV-Cache, da der zwischengespeicherte Inferenzzustand mit der erneuten Ausführung der Schichten kollidiert.
Verwandte Speichertechniken#
- Gradientenakkumulation: Teilt einen großen Stapel in Mikro-Stapel auf, die nacheinander verarbeitet werden. So werden die Aktivierungen pro Schritt ohne zusätzlichen Rechenaufwand reduziert, dafür sind mehr Schritte nötig.
- Gemischte Genauigkeit: Speichert Aktivierungen in 16-Bit-Formaten wie BF16, halbiert dadurch den Speicherbedarf und beschleunigt das Training in der Regel.
- Trainings-Checkpoints: Dateien mit Gewichten und Optimiererzustand, die zum Fortsetzen des Trainings oder zur Bereitstellung gespeichert werden. Diese Verwendung des Begriffs hat nichts mit Gradient-Checkpointing zu tun.
Checkpointing kommt häufig beim Feinabstimmen von großen Sprachmodellen (LLMs) auf einer einzelnen GPU zum Einsatz. Hugging Faces Trainer aktiviert es mit gradient_checkpointing=True. Es wird auch beim Training von Bildsegmentierungsmodellen auf großen medizinischen oder Luftbildern verwendet, deren Merkmalkarten den Speicherbedarf dominieren. Beim Training von Ultralytics YOLO26 werden alle Aktivierungen gespeichert und der Speicherbedarf stattdessen über die Stapelgröße angepasst: batch=-1 im Trainingsmodus führt AutoBatch aus. Dabei wird der Speicherbedarf für mehrere Stapelgrößen ermittelt und diejenige ausgewählt, für die eine Auslastung von 60 % des GPU-Speichers prognostiziert wird. Ein Wert wie batch=0.70 setzt dieses Ziel auf 70 %.










