Tensor Parallelism

Tensor-Parallelismus ist eine fortgeschrittene distributed training-Technik im maschinellen Lernen, um große einzelne mathematische Strukturen oder Tensoren auf mehrere Hardware-Beschleuniger wie GPUs oder TPUs aufzuteilen. Beim Training massiver deep learning-Modelle kann die Anzahl der Parameter leicht die Speicherkapazität eines einzelnen Geräts überschreiten. Anstatt eine gesamte neural network-Schicht auf einer GPU zu platzieren, teilt der Tensor-Parallelismus die Gewichtsmatrizen auf und verteilt die mathematischen Operationen (wie Matrixmultiplikationen) auf mehrere Geräte in einem Cluster. Dadurch kann das Modell die kombinierte Speicher- und Rechenleistung des gesamten Hardware-Setups nutzen und parallele Berechnungen in einem Single-Program Multiple-Data (SPMD)-Paradigma ausführen, während die Ergebnisse über Hochgeschwindigkeits-Interconnects wie NVIDIA NVLink synchronisiert werden.

Wie Tensor-Parallelismus funktioniert#

Das Kernstück eines neuronalen Netzwerks sind Matrixmultiplikationen. Der Tensor-Parallelismus verteilt diese Operationen, indem er die Matrizen entweder zeilen- oder spaltenweise aufteilt. Beispielsweise kann in einer vollständig verknüpften Schicht oder einem Transformer-Aufmerksamkeitsmechanismus eine GPU die linke Hälfte der Matrix berechnen, während eine andere die rechte Hälfte berechnet. Nach Abschluss der parallelen Berechnungen kommunizieren die Geräte – oft über schnelle All-Reduce collective operations –, um die Teilergebnisse zu aggregieren, bevor der vollständige Tensor an die nächste Schicht übergeben wird. Jüngste akademische Fortschritte im Jahr 2025 optimieren diesen Prozess weiter, indem sie teilweise synchronisierte Aktivierungen einführen, um den Kommunikationsaufwand zu reduzieren, der bei großen Rechenclustern typischerweise zu einem Engpass führt.

Unterscheidung verwandter Parallelisierungstechniken#

Um zu verstehen, wie sich der Tensor-Parallelismus in die breitere Landschaft des verteilten Rechnens einfügt, muss man ihn von anderen gängigen Strategien abgrenzen:

• Tensor-Parallelismus vs. Modell-Parallelismus: Tensor-Parallelismus ist eine hochspezifische Unterkategorie des Modell-Parallelismus. Während sich der allgemeine Modell-Parallelismus auf das Aufteilen eines Modells auf Geräte bezieht, bezieht sich der Tensor-Parallelismus streng auf das Sharding der einzelnen Tensoren innerhalb einer einzigen Schicht.
• Tensor-Parallelismus vs. Pipeline-Parallelismus: Pipeline-Parallelismus ist eine weitere Form des Modell-Parallelismus, die das Netzwerk nach Tiefe partitioniert – die ersten paar Schichten auf GPU 0, die nächsten auf GPU 1 und so weiter. Dies erzeugt sequentielle Abhängigkeiten, die als Pipeline-Bubbles bekannt sind. Der Tensor-Parallelismus teilt die Schichten selbst auf und führt sie gleichzeitig ohne sequentielle Verzögerung aus, erfordert jedoch eine wesentlich höhere Netzwerkbandbreite.
• Tensor-Parallelismus vs. Daten-Parallelismus: Beim Daten-Parallelismus wird das gesamte Modell auf jeder GPU vollständig repliziert, und nur der Trainingsdatensatz wird auf die Geräte aufgeteilt. Für hochoptimierte Architekturen wie Ultralytics YOLO26, die problemlos auf moderne GPUs passen, ist der Daten-Parallelismus über PyTorchs DistributedDataParallel die Standardmethode. Der Tensor-Parallelismus ist in der Regel nur dann erforderlich, wenn die Parameter einer einzelnen Schicht den VRAM der Hardware überschreiten, was Out-of-Memory-Fehler (OOM) verursacht.

Praxisanwendungen#

Tensor-Parallelismus ist in modernen KI-Infrastrukturen unverzichtbar, insbesondere bei hochmodernen Architekturen, die eine massive rechnerische Skalierung erfordern:

• Training Large Language Models (LLMs): Massive foundation models like Meta's Llama 3 und DeepSeek V3 nutzen Frameworks wie NVIDIA Megatron-LM, um Tensor-Parallelismus zu implementieren. Da die verborgenen Dimensionen und Aufmerksamkeitsköpfe dieser Modelle so groß sind, ist ihre Aufteilung auf einen Node mit 8 GPUs zwingend erforderlich, um effizient zu trainieren und während der real-time inference eine geringe Latenz aufrechtzuerhalten.
• Large Vision Models (LVMs) and 3D Generation: As computer vision in Richtung massiver multimodaler Schließungssysteme skaliert, verwenden Forscher Tensor-Parallelismus in Kombination mit Pipeline-Parallelismus auf Diensten wie AWS SageMaker, um gigantische Vision Transformer (ViTs) zu trainieren. Diese Technik ermöglicht die Verarbeitung hochauflösender Bilder und Videogenerierungen, die enorme zusammenhängende Speicherblöcke erfordern.

Implementierung von Tensor-Parallelismus in PyTorch#

Historisch gesehen mussten Ingenieure komplexe, benutzerdefinierte verteilte Logik schreiben, um Tensoren aufzuteilen. Kürzlich hat PyTorch DTensor (Distributed Tensor) eingeführt, was diesen Workflow nativ vereinfacht. Unten ist ein Beispiel für das Erstellen eines zeilenweise geshardeten Tensors unter Verwendung der official PyTorch Distributed Tensor API zu sehen:

import torch
from torch.distributed.device_mesh import init_device_mesh
from torch.distributed.tensor import Shard, distribute_tensor

# Initialize a 1D device mesh across 2 GPUs
mesh = init_device_mesh("cuda", (2,))

# Create a standard PyTorch tensor (e.g., representing a layer's weights)
local_tensor = torch.randn(1024, 1024)

# Distribute the tensor across the GPUs by sharding along the first dimension (row-wise)
# Each GPU now holds a (512, 1024) chunk of the original tensor
distributed_tensor = distribute_tensor(local_tensor, mesh, [Shard(0)])

print(f"Global shape: {distributed_tensor.shape}, Local shape: {distributed_tensor.to_local().shape}")

Für auf Edge optimierte Vision-Aufgaben und eine schnelle model deployment verlassen sich Entwickler typischerweise auf die Ultralytics Platform, um die optimale Hardware-Auslastung automatisch zu handhaben. Während Foundation-Modelle mit mehreren Milliarden Parametern manuelle Konfigurationen für den Tensor-Parallelismus erfordern, kannst du das Training für Modelle wie YOLO26 mithilfe einfacher CLI commands sofort effizient skalieren. Dies gewährleistet einen maximalen Durchsatz, indem native Datenparallelitätstechniken nahtlos neben robusten model training tips eingesetzt werden.