Context Parallelism
Beim Kontextparallelismus wird eine lange Eingabesequenz auf mehrere GPUs aufgeteilt, die während des Attention-Schritts Schlüssel und Werte austauschen. So sinkt der Speicherbedarf jeder GPU.
Kontextparallelisierung (CP) ist eine Technik für das verteilte Training, bei der eine einzelne lange Eingabesequenz auf mehrere GPUs verteilt wird. Jede GPU enthält einen zusammenhängenden oder verschachtelten Anteil der Tokens und alle daraus berechneten Aktivierungen. Mit jeder zusätzlichen GPU sinkt also der Speicherbedarf pro Gerät. Schichten, die Tokens unabhängig voneinander verarbeiten, etwa Normalisierung und Feed-Forward-Blöcke, verarbeiten lokale Tokens ohne Kommunikation. Eine Ausnahme ist die Selbstaufmerksamkeit: Da jede Abfrage auf jeden Schlüssel zugreifen können muss, tauschen GPUs Schlüssel und Werte aus, um exakt dasselbe Ergebnis wie bei der Aufmerksamkeit über die gesamte Sequenz zu erhalten. Die Technik ermöglicht es, ein vorgegebenes Kontextfenster auszuführen. Dessen Länge wird durch die Architektur und das Training des Modells festgelegt.
So tauschen GPUs Schlüssel und Werte aus#
Die Implementierungen unterscheiden sich vor allem darin, wie Schlüssel und Werte zu den GPUs gelangen, die sie benötigen:
- Ring Attention: Die GPUs bilden einen Ring und geben Schlüssel-Wert-Blöcke an ihre Nachbarn weiter, während sie den eigenen Block verarbeiten. So werden Übertragungen durch Berechnungen überdeckt.
- All-Gather: Jede GPU sammelt alle Schlüssel und Werte ein und berechnet dann die Aufmerksamkeit für ihre eigenen Abfragen. Meta wählte dieses Verfahren für Llama 3, weil es Dokumentmasken einfach unterstützt. Bei gruppierter Abfrageaufmerksamkeit sind Schlüssel und Werte außerdem deutlich kleiner als die Abfragen.
- All-to-All: DeepSpeed Ulysses ordnet die Daten neu an, sodass jede GPU alle Tokens für einen Teil der Aufmerksamkeitsköpfe erhält. Dadurch ist der Parallelisierungsgrad auf die Anzahl der Köpfe begrenzt.
Die experimentelle Context Parallel API von PyTorch ersetzt skalierte Skalarprodukt-Aufmerksamkeit innerhalb eines context_parallel()-Blocks durch Ring Attention. NVIDIA Megatron-Core sammelt Schlüssel und Werte beim Vorwärtsdurchlauf über ringförmige Punkt-zu-Punkt-Übertragungen ein und verteilt ihre Gradienten beim Rückwärtsdurchlauf mithilfe von Reduce-Scatter. CP unterscheidet sich von Megatrons älterer Sequenzparallelisierung, bei der neben der Tensorparallelisierung nur Aktivierungen der Layer-Normalisierung und des Dropouts aufgeteilt werden. CP teilt dagegen die Eingaben und alle Aktivierungen entlang der Sequenz auf.
Ausgleich der kausalen Aufmerksamkeit#
Mit einer kausalen Maske richtet Token i seine Aufmerksamkeit nur auf die i davor liegenden Tokens und auf sich selbst. Spätere Tokens verursachen deshalb mehr Aufwand. Wenn jede GPU ein zusammenhängendes Viertel der Sequenz erhält, hat die erste GPU wenig und die letzte GPU viel zu tun. Die am stärksten ausgelastete GPU bestimmt das Tempo. Llama 3 und Megatron-Core teilen die Sequenz in doppelt so viele Abschnitte wie GPUs auf und weisen jeder GPU einen frühen Abschnitt und sein Spiegelbild vom Ende der Sequenz zu:
import torch
seq_len, ranks = 8192, 4
positions = torch.arange(seq_len)
causal_work = positions + 1 # Unter einer kausalen Maske richtet Token i seine Aufmerksamkeit auf i + 1 Schlüssel
# Zusammenhängende Aufteilung: Rang r erhält das r-te Viertel der Sequenz
contiguous = [causal_work[shard].sum().item() for shard in positions.chunk(ranks)]
# Ausgeglichene Aufteilung: Sequenz in 2 * ranks Abschnitte aufteilen, Rang r erhält Abschnitt r und dessen Spiegelbild vom Ende
chunks = positions.chunk(2 * ranks)
balanced = [causal_work[torch.cat([chunks[r], chunks[-1 - r]])].sum().item() for r in range(ranks)]
print("Contiguous, millions of scores per rank:", [round(w / 1e6, 1) for w in contiguous])
print("Balanced, millions of scores per rank: ", [round(w / 1e6, 1) for w in balanced])Bei der zusammenhängenden Aufteilung entfallen auf die vier GPUs [2.1, 6.3, 10.5, 14.7] Millionen Aufmerksamkeits-Scores, also eine Spanne von 7×. Bei der gespiegelten Aufteilung erhält jede GPU 8.4 Millionen.
Einsatzbereiche der Kontextparallelisierung#
Der Haupteinsatzbereich ist das Training von großen Sprachmodellen (LLMs) mit langen Dokumenten und Codebasen. Meta erweiterte Llama 3 405B auf Sequenzen mit 131.072 Tokens und setzte neben Tensor-, Pipeline- und Datenparallelisierung eine 16-fache Kontextparallelisierung auf 16.384 H100-GPUs ein. Dabei erreichte das Modell 38 % des maximalen BF16-Durchsatzes, verglichen mit 41 % auf demselben Cluster bei 8.192 Tokens. Der andere Einsatzbereich sind Videos: Meta trainierte sein Modell Movie Gen zur Videogenerierung mit 30 Milliarden Parametern anhand von Clips, die in etwa 73.000 Tokens umgewandelt wurden. Dabei kamen Kontextparallelisierung sowie Tensor-, Sequenz- und vollständig aufgeteilte Datenparallelisierung zum Einsatz. Lange Videos bringen auch Sprach-Bild-Modelle und Systeme zum Videoverständnis an dieselbe Grenze, da jedes Bild Hunderte Tokens hinzufügt.
Kontextparallelisierung lässt sich mit den anderen Strategien kombinieren:
- Pipeline-Parallelisierung: Verteilt die Schichten des Modells auf mehrere GPUs.
- Datenparallelisierung: Verteilt den Stapel auf vollständige Kopien des Modells.
- Flash Attention: Vermeidet, die Aufmerksamkeitsmatrix auf einer einzelnen GPU zu speichern. Bei Implementierungen mit Kontextparallelisierung wird auf dem lokalen Abschnitt jeder GPU ein ähnlicher Kernel ausgeführt.
Bildmodelle erreichen diese Sequenzlängen nur bei sehr hoher Auflösung, da die Sequenzlänge mit der Anzahl der Patches oder Positionen auf der Merkmalskarte wächst. Ultralytics YOLO26 verwendet Selbstaufmerksamkeit nur auf seiner gröbsten Merkmalskarte mit Schrittweite 32, in den Schichten 10 und 22 seiner Modellkonfiguration, sodass die Aufmerksamkeit bei der Standardeinstellung imgsz=640 400 Positionen und bei imgsz=1280 1.600 Positionen umfasst.










