YOLO lizenzieren
Zurück zum Ultralytics-Glossar

Context Parallelism

Beim Kontextparallelismus wird eine lange Eingabesequenz auf mehrere GPUs aufgeteilt, die während des Attention-Schritts Schlüssel und Werte austauschen. So sinkt der Speicherbedarf jeder GPU.

Kontextparallelisierung (CP) ist eine Technik für das verteilte Training, bei der eine einzelne lange Eingabesequenz auf mehrere GPUs verteilt wird. Jede GPU enthält einen zusammenhängenden oder verschachtelten Anteil der Tokens und alle daraus berechneten Aktivierungen. Mit jeder zusätzlichen GPU sinkt also der Speicherbedarf pro Gerät. Schichten, die Tokens unabhängig voneinander verarbeiten, etwa Normalisierung und Feed-Forward-Blöcke, verarbeiten lokale Tokens ohne Kommunikation. Eine Ausnahme ist die Selbstaufmerksamkeit: Da jede Abfrage auf jeden Schlüssel zugreifen können muss, tauschen GPUs Schlüssel und Werte aus, um exakt dasselbe Ergebnis wie bei der Aufmerksamkeit über die gesamte Sequenz zu erhalten. Die Technik ermöglicht es, ein vorgegebenes Kontextfenster auszuführen. Dessen Länge wird durch die Architektur und das Training des Modells festgelegt.

So tauschen GPUs Schlüssel und Werte aus#

Die Implementierungen unterscheiden sich vor allem darin, wie Schlüssel und Werte zu den GPUs gelangen, die sie benötigen:

  • Ring Attention: Die GPUs bilden einen Ring und geben Schlüssel-Wert-Blöcke an ihre Nachbarn weiter, während sie den eigenen Block verarbeiten. So werden Übertragungen durch Berechnungen überdeckt.
  • All-Gather: Jede GPU sammelt alle Schlüssel und Werte ein und berechnet dann die Aufmerksamkeit für ihre eigenen Abfragen. Meta wählte dieses Verfahren für Llama 3, weil es Dokumentmasken einfach unterstützt. Bei gruppierter Abfrageaufmerksamkeit sind Schlüssel und Werte außerdem deutlich kleiner als die Abfragen.
  • All-to-All: DeepSpeed Ulysses ordnet die Daten neu an, sodass jede GPU alle Tokens für einen Teil der Aufmerksamkeitsköpfe erhält. Dadurch ist der Parallelisierungsgrad auf die Anzahl der Köpfe begrenzt.

Die experimentelle Context Parallel API von PyTorch ersetzt skalierte Skalarprodukt-Aufmerksamkeit innerhalb eines context_parallel()-Blocks durch Ring Attention. NVIDIA Megatron-Core sammelt Schlüssel und Werte beim Vorwärtsdurchlauf über ringförmige Punkt-zu-Punkt-Übertragungen ein und verteilt ihre Gradienten beim Rückwärtsdurchlauf mithilfe von Reduce-Scatter. CP unterscheidet sich von Megatrons älterer Sequenzparallelisierung, bei der neben der Tensorparallelisierung nur Aktivierungen der Layer-Normalisierung und des Dropouts aufgeteilt werden. CP teilt dagegen die Eingaben und alle Aktivierungen entlang der Sequenz auf.

Ausgleich der kausalen Aufmerksamkeit#

Mit einer kausalen Maske richtet Token i seine Aufmerksamkeit nur auf die i davor liegenden Tokens und auf sich selbst. Spätere Tokens verursachen deshalb mehr Aufwand. Wenn jede GPU ein zusammenhängendes Viertel der Sequenz erhält, hat die erste GPU wenig und die letzte GPU viel zu tun. Die am stärksten ausgelastete GPU bestimmt das Tempo. Llama 3 und Megatron-Core teilen die Sequenz in doppelt so viele Abschnitte wie GPUs auf und weisen jeder GPU einen frühen Abschnitt und sein Spiegelbild vom Ende der Sequenz zu:

import torch

seq_len, ranks = 8192, 4
positions = torch.arange(seq_len)
causal_work = positions + 1  # Unter einer kausalen Maske richtet Token i seine Aufmerksamkeit auf i + 1 Schlüssel

# Zusammenhängende Aufteilung: Rang r erhält das r-te Viertel der Sequenz
contiguous = [causal_work[shard].sum().item() for shard in positions.chunk(ranks)]

# Ausgeglichene Aufteilung: Sequenz in 2 * ranks Abschnitte aufteilen, Rang r erhält Abschnitt r und dessen Spiegelbild vom Ende
chunks = positions.chunk(2 * ranks)
balanced = [causal_work[torch.cat([chunks[r], chunks[-1 - r]])].sum().item() for r in range(ranks)]

print("Contiguous, millions of scores per rank:", [round(w / 1e6, 1) for w in contiguous])
print("Balanced, millions of scores per rank:  ", [round(w / 1e6, 1) for w in balanced])

Bei der zusammenhängenden Aufteilung entfallen auf die vier GPUs [2.1, 6.3, 10.5, 14.7] Millionen Aufmerksamkeits-Scores, also eine Spanne von 7×. Bei der gespiegelten Aufteilung erhält jede GPU 8.4 Millionen.

Einsatzbereiche der Kontextparallelisierung#

Der Haupteinsatzbereich ist das Training von großen Sprachmodellen (LLMs) mit langen Dokumenten und Codebasen. Meta erweiterte Llama 3 405B auf Sequenzen mit 131.072 Tokens und setzte neben Tensor-, Pipeline- und Datenparallelisierung eine 16-fache Kontextparallelisierung auf 16.384 H100-GPUs ein. Dabei erreichte das Modell 38 % des maximalen BF16-Durchsatzes, verglichen mit 41 % auf demselben Cluster bei 8.192 Tokens. Der andere Einsatzbereich sind Videos: Meta trainierte sein Modell Movie Gen zur Videogenerierung mit 30 Milliarden Parametern anhand von Clips, die in etwa 73.000 Tokens umgewandelt wurden. Dabei kamen Kontextparallelisierung sowie Tensor-, Sequenz- und vollständig aufgeteilte Datenparallelisierung zum Einsatz. Lange Videos bringen auch Sprach-Bild-Modelle und Systeme zum Videoverständnis an dieselbe Grenze, da jedes Bild Hunderte Tokens hinzufügt.

Kontextparallelisierung lässt sich mit den anderen Strategien kombinieren:

  • Pipeline-Parallelisierung: Verteilt die Schichten des Modells auf mehrere GPUs.
  • Datenparallelisierung: Verteilt den Stapel auf vollständige Kopien des Modells.
  • Flash Attention: Vermeidet, die Aufmerksamkeitsmatrix auf einer einzelnen GPU zu speichern. Bei Implementierungen mit Kontextparallelisierung wird auf dem lokalen Abschnitt jeder GPU ein ähnlicher Kernel ausgeführt.

Bildmodelle erreichen diese Sequenzlängen nur bei sehr hoher Auflösung, da die Sequenzlänge mit der Anzahl der Patches oder Positionen auf der Merkmalskarte wächst. Ultralytics YOLO26 verwendet Selbstaufmerksamkeit nur auf seiner gröbsten Merkmalskarte mit Schrittweite 32, in den Schichten 10 und 22 seiner Modellkonfiguration, sodass die Aufmerksamkeit bei der Standardeinstellung imgsz=640 400 Positionen und bei imgsz=1280 1.600 Positionen umfasst.

Lösungen entdecken

Computer Vision im Sport

Computer Vision im Sport

Entdecke, wie Ultralytics YOLO die Sportbildanalyse voranbringt – mit Spieler- und Ballverfolgung, Leistungsanalysen, Erkenntnissen für das Coaching und der Rehabilitation von Athleten.
Mehr erfahren
Computer Vision für Luftbilder

Computer Vision für Luftbilder

Verwandle Drohnen- und Luftbilder mit Ultralytics YOLO in Echtzeit-Erkenntnisse für Landwirtschaft, Aquakultur, Naturschutz und Geodatenanalyse.
Mehr erfahren
Computer Vision in der Luft- und Raumfahrt

Computer Vision in der Luft- und Raumfahrt

Setze Computer Vision in der Luft- und Raumfahrt mit Ultralytics YOLO ein – für Flugzeuginspektionen, die Erkennung von Fremdkörpern auf Start- und Landebahnen, den Bodenbetrieb am Flughafen und die Erkennung von Verbundwerkstofffehlern.
Mehr erfahren
Computer Vision im Sicherheitsbereich

Computer Vision im Sicherheitsbereich

Schütze jeden Standort mit Ultralytics YOLO-Modellen. Vision-KI ermöglicht die Überwachung von Grundstücksgrenzen, die Erkennung von Bedrohungen, die Kennzeichenerkennung und die Sicherheit am Arbeitsplatz.
Mehr erfahren
Computer Vision in der Robotik

Computer Vision in der Robotik

Mach Maschinen mit Ultralytics YOLO-Modellen leistungsfähiger. Vision-KI in der Robotik ermöglicht autonome Navigation, Wahrnehmung, Objektverfolgung und Steuerung in Echtzeit.
Mehr erfahren
Bildverarbeitung in der Logistik

Bildverarbeitung in der Logistik

Optimiere die Logistik mit Ultralytics YOLO-Modellen. Vision AI ermöglicht die Paketprüfung, Sortierung und Fahrzeugverfolgung sowie die Sicherheitsüberwachung von Lagerhäusern in Echtzeit.
Mehr erfahren
Bildverarbeitung im Einzelhandel

Bildverarbeitung im Einzelhandel

Gestalte den Einzelhandel mit Ultralytics YOLO-Modellen neu. Vision AI ermöglicht Bestandsverfolgung, Regalüberwachung und Warteschlangenmanagement und liefert bessere Einblicke in das Kundenverhalten.
Mehr erfahren
Bildverarbeitung im Gesundheitswesen

Bildverarbeitung im Gesundheitswesen

Entwickle Lösungen für das Gesundheitswesen mit Ultralytics YOLO-Modellen. Vision AI ermöglicht im Gesundheitswesen schnellere medizinische Bildgebung, bessere Diagnostik und die Überwachung von Patienten.
Mehr erfahren
Computer Vision in der Fertigung

Computer Vision in der Fertigung

Optimiere die Fertigung mit Ultralytics-YOLO-Modellen. Vision AI ermöglicht Qualitätskontrolle, Fehlererkennung, die Überprüfung der Einhaltung von Vorgaben zu persönlicher Schutzausrüstung und die Automatisierung von Montagelinien.
Mehr erfahren
Computer Vision in der Automobilbranche

Computer Vision in der Automobilbranche

Setze Computer Vision in der Automobilbranche mit Ultralytics-YOLO-Modellen ein. Vision AI verbessert die Verkehrssicherheit, Fahrerassistenz und Fahrzeugautomatisierung – für intelligentere Straßen.
Mehr erfahren
Computer Vision in der Landwirtschaft

Computer Vision in der Landwirtschaft

Setze mit Ultralytics YOLO-Modellen KI für Bildverarbeitung in der intelligenten Landwirtschaft ein. Ermögliche die Überwachung von Nutzpflanzen, die Verfolgung von Nutztieren und Präzisionslandwirtschaft für höhere und nachhaltigere Erträge.
Mehr erfahren

Lass uns gemeinsam die Zukunft der KI gestalten!

Starte deine Reise in die Zukunft des maschinellen Lernens