Tensor Parallelism

Il parallelismo dei tensori è una tecnica avanzata di addestramento distribuito usata nell'apprendimento automatico per suddividere grandi strutture matematiche individuali, o tensori, tra più acceleratori hardware, come GPU o TPU. Quando si addestrano modelli di deep learning di enormi dimensioni, il numero di parametri può superare facilmente la capacità di memoria di un singolo dispositivo. Invece di collocare un intero livello di una rete neurale su una GPU, il parallelismo dei tensori suddivide le matrici dei pesi e le operazioni matematiche (come le moltiplicazioni di matrici) tra più dispositivi in un cluster. In questo modo, il modello sfrutta la memoria e la potenza di calcolo combinate dell'intera configurazione hardware, eseguendo calcoli paralleli secondo il paradigma programma singolo, dati multipli (SPMD) e sincronizzando i risultati tramite interconnessioni ad alta velocità come NVIDIA NVLink.

Come funziona il parallelismo dei tensori#

Al centro di una rete neurale ci sono le moltiplicazioni di matrici. Il parallelismo tensoriale distribuisce queste operazioni suddividendo le matrici per righe o per colonne. Per esempio, in un layer completamente connesso o in un meccanismo di attenzione di un Transformer, una GPU potrebbe calcolare la metà sinistra della matrice mentre un'altra calcola quella destra. Al termine dei calcoli paralleli, i dispositivi comunicano, spesso usando le veloci operazioni collettive All-Reduce, per aggregare i risultati parziali prima di passare il tensore completo al layer successivo. Gli sviluppi accademici più recenti del 2025 ottimizzano ulteriormente il processo introducendo attivazioni sincronizzate parzialmente, per ridurre il sovraccarico delle comunicazioni che normalmente limita i grandi cluster di calcolo.

Distinguere le tecniche di parallelismo correlate#

Per capire come si inserisce il parallelismo dei tensori nel più ampio panorama del calcolo distribuito, è necessario distinguerlo da altre strategie comuni:

• Parallelismo dei tensori e parallelismo del modello: il parallelismo dei tensori è una sottocategoria molto specifica del parallelismo del modello. Mentre il parallelismo del modello in generale indica qualsiasi modalità di suddivisione di un modello tra dispositivi, il parallelismo dei tensori si riferisce esclusivamente alla suddivisione dei singoli tensori all'interno di un unico livello.
• Parallelismo tensoriale e parallelismo a pipeline: il parallelismo a pipeline è un'altra forma di parallelismo dei modelli che suddivide la rete in base alla profondità, assegnando i primi layer alla GPU 0, i successivi alla GPU 1 e così via. Si creano così dipendenze sequenziali note come bolle della pipeline. Il parallelismo tensoriale suddivide invece i layer stessi e li esegue simultaneamente, senza ritardi sequenziali, ma richiede una larghezza di banda di rete molto maggiore.
• Parallelismo dei tensori e parallelismo dei dati: nel parallelismo dei dati, il modello completo viene replicato su ogni GPU e solo il dataset di addestramento viene suddiviso tra i dispositivi. Per architetture altamente ottimizzate come Ultralytics YOLO26, che si adattano facilmente alle GPU moderne, il parallelismo dei dati tramite DistributedDataParallel di PyTorch è il metodo predefinito. Il parallelismo dei tensori è in genere necessario solo quando i parametri di un singolo livello superano la VRAM dell'hardware, causando errori di memoria insufficiente (OOM).

Applicazioni nel mondo reale#

Il parallelismo dei tensori è indispensabile nelle infrastrutture AI moderne, soprattutto per le architetture all'avanguardia che richiedono enormi capacità di calcolo:

• Training di modelli linguistici di grandi dimensioni (LLM): enormi modelli fondazionali come Llama 3 di Meta si affidano al parallelismo tensoriale, spesso implementato con framework come NVIDIA Megatron-LM, sebbene DeepSeek V3 sia stato addestrato, in modo degno di nota, senza ricorrervi, affidandosi al parallelismo a pipeline e al parallelismo degli esperti. Poiché le dimensioni nascoste e le teste di attenzione di questi modelli sono molto grandi, suddividerli su un nodo con 8 GPU è indispensabile per addestrarli in modo efficiente e mantenere bassa la latenza durante l'inferenza in tempo reale.
• Modelli visivi di grandi dimensioni (LVM) e generazione 3D: con l'evoluzione della visione artificiale verso enormi sistemi di ragionamento multimodale, i ricercatori usano il parallelismo tensoriale insieme al parallelismo a pipeline su servizi come AWS SageMaker per addestrare giganteschi Transformer visivi (ViT). Questa tecnica consente di elaborare immagini ad alta risoluzione e generare video, operazioni che richiedono enormi blocchi di memoria contigua.

Implementare il parallelismo dei tensori in PyTorch#

In passato, gli ingegneri dovevano scrivere una logica distribuita personalizzata e complessa per suddividere i tensori. Di recente, PyTorch ha introdotto DTensor (Distributed Tensor), semplificando nativamente questo flusso di lavoro. Ecco un esempio di creazione di un tensore suddiviso per righe usando l'API ufficiale Distributed Tensor di PyTorch:

import torch
from torch.distributed.device_mesh import init_device_mesh
from torch.distributed.tensor import Shard, distribute_tensor

# Initialize a 1D device mesh across 2 GPUs
mesh = init_device_mesh("cuda", (2,))

# Create a standard PyTorch tensor (e.g., representing a layer's weights)
local_tensor = torch.randn(1024, 1024)

# Distribute the tensor across the GPUs by sharding along the first dimension (row-wise)
# Each GPU now holds a (512, 1024) chunk of the original tensor
distributed_tensor = distribute_tensor(local_tensor, mesh, [Shard(0)])

print(f"Global shape: {distributed_tensor.shape}, Local shape: {distributed_tensor.to_local().shape}")

Per le attività di visione ottimizzate per dispositivi edge e la rapida distribuzione dei modelli, gli sviluppatori si affidano in genere alla piattaforma Ultralytics per gestire automaticamente l'utilizzo ottimale dell'hardware. Mentre i modelli fondazionali con miliardi di parametri richiedono configurazioni manuali del parallelismo tensoriale, puoi scalare efficacemente il training di modelli come YOLO26 con semplici comandi CLI, subito pronti all'uso. Questo garantisce il massimo throughput sfruttando senza interruzioni le tecniche native di parallelismo dei dati insieme a solidi consigli per il training dei modelli.