Expert Parallelism

Il parallelismo di esperti è una tecnica di calcolo distribuito che posiziona diversi esperti di un modello a mixture-of-experts su GPU o acceleratori differenti. Invece di far memorizzare ogni esperto a ciascun dispositivo, ogni dispositivo ne detiene un sottoinsieme. Un router appreso invia ogni token di input agli esperti selezionati, consentendo a modelli molto grandi di aumentare la capacità dei parametri senza attivare ogni parametro per ogni input.

La tecnica si applica nello specifico alle architetture mixture-of-experts e non alle normali reti neurali dense. Viene comunemente impiegata durante l'addestramento o il serving di modelli linguistici di grandi dimensioni e modelli di visione-linguaggio i cui layer di esperti consumerebbero altrimenti troppa memoria su un singolo dispositivo.

Come funziona il parallelismo di esperti#

Un layer MoE contiene diverse reti di esperti, in genere reti neurali feed-forward, oltre a un router. Per ciascun token, il router produce punteggi e seleziona un numero ridotto di esperti, operazione spesso definita routing top-k.

In un layer a otto esperti distribuito su quattro GPU, ad esempio, ciascuna GPU può memorizzare due esperti. L'elaborazione segue quindi quattro passaggi principali:

1. Il router seleziona gli esperti per ogni token.
2. I token vengono scambiati tra le GPU in modo da raggiungere i dispositivi che ospitano tali esperti.
3. Ciascun esperto elabora i token assegnati localmente.
4. I risultati tornano alle posizioni originali dei token e continuano attraverso il modello.

Questo scambio si basa comunemente sulla comunicazione all-to-all, un'operazione collettiva descritta nella documentazione delle operazioni collettive NVIDIA NCCL. La guida al parallelismo NVIDIA Megatron Bridge mostra come il conteggio degli esperti e la dimensione del parallelismo degli esperti determinano il numero di esperti posizionati su ciascuna GPU.

Il parallelismo di esperti consente di risparmiare memoria per dispositivo poiché i pesi degli esperti sono partizionati. Tuttavia, non elimina i costi di calcolo o di comunicazione: i token possono attraversare i confini dei dispositivi o dei nodi a ogni layer MoE.

Parallelismo di esperti rispetto a tecniche correlate#

Il parallelismo di esperti è una forma di addestramento distribuito, ma divide un modello in modo diverso rispetto ad altre strategie:

• Parallelismo dei dati: Ciascun dispositivo memorizza una replica completa del modello ed elabora un batch differente. I gradienti vengono sincronizzati tra le repliche, come spiegato nella panoramica sull'addestramento distribuito PyTorch. Questo approccio è efficace quando il modello completo entra in ogni dispositivo.
• Parallelismo dei tensor: Le matrici di pesi individuali e le operazioni matematiche all'interno di un layer vengono suddivise tra i dispositivi. Il parallelismo di esperti assegna invece esperti completi ai dispositivi.
• Parallelismo di pipeline: Gruppi consecutivi di layer vengono eseguiti su dispositivi differenti, con microbatch che fluiscono attraverso di essi come stadi di pipeline.
• Parallelismo del contesto: Le sequenze di input lunghe vengono partizionate tra i dispositivi per ridurre i requisiti di memoria di attivazione.
• Parallelismo dei tensor degli esperti: Gli esperti sono distribuiti tra i dispositivi e ciascun singolo esperto viene inoltre sottoposto a tensor-sharding. Questo approccio ibrido è in grado di accogliere esperti più grandi ma introduce una comunicazione aggiuntiva.

Questi approcci sono complementari. I sistemi MoE di grandi dimensioni possono combinare il parallelismo di esperti, dei dati, dei tensor, di pipeline e del contesto in base alle dimensioni del modello e alla topologia dell'hardware.

Applicazioni nel mondo reale#

Assistenti multilingue su larga scala: Un modello linguistico MoE può contenere molte reti di esperti attivandone solo poche per ciascun token. Il parallelismo di esperti distribuisce tali reti su un cluster di serving, consentendo al sistema di mantenere un'elevata capacità del modello senza caricare ogni esperto su ogni GPU. I runtime di produzione come il deployment con parallelismo degli esperti vLLM e il parallelismo degli esperti TensorRT-LLM supportano questo tipo di layout di inferenza.

Analisi di contenuti multimodali: Un modello MoE di grandi dimensioni che elabora patch di immagini e token di testo può instradare gli input attraverso esperti selezionati distribuiti su più acceleratori. Questo può supportare la comprensione dei documenti, la risposta a domande visive e altri servizi di intelligenza artificiale multimodale mantenendo gestibile la memoria degli esperti per ciascun dispositivo. Lo stesso principio può essere applicato a vision transformer sparsi su larga scala, sebbene la maggior parte dei modelli di visione compatti in tempo reale non ne richieda l'utilizzo.

Vantaggi, colli di bottiglia e indicazioni pratiche#

Il parallelismo di esperti offre tre vantaggi principali: memoria ridotta per i pesi degli esperti per GPU, supporto per modelli con maggiore capacità totale e calcolo sparso efficiente quando si attivano solo pochi esperti per token. La guida al parallelismo degli esperti Amazon SageMaker illustra come il grado di parallelismo degli esperti controlla la distribuzione all'interno di un cluster.

La sua sfida principale è lo squilibrio del carico. Se il router invia troppi token a un singolo esperto, la GPU di quell'esperto diventa un elemento in ritardo mentre le altre attendono. Le conseguenze includono throughput inferiore, latenza instabile e possibile perdita di token quando la capacità degli esperti è limitata. Gli ingegneri dovrebbero monitorare i token per esperto, il bilanciamento del routing, il tempo di comunicazione, l'utilizzo della memoria e la latenza end-to-end. Interconnessioni ad alta banda e la sovrapposizione tra comunicazione e calcolo possono ridurre l'overhead di trasferimento.

Il parallelismo di esperti non è necessario quando si utilizza un modello denso come Ultralytics YOLO26. L'addestramento di Ultralytics YOLO con più GPU utilizza invece il parallelismo dei dati distribuito:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# Two-GPU YOLO training uses data parallelism, not expert parallelism.
results = model.train(
    data="coco8.yaml",
    epochs=10,
    imgsz=640,
    device=[0, 1],
)

Questo flusso di lavoro replica YOLO26 su due GPU e divide i batch di addestramento tra di esse; non instrada gli input tra reti di esperti. I team possono anche utilizzare l'addestramento sul cloud della piattaforma Ultralytics per gestire dataset di visione, addestramento, metriche, esportazione e deployment senza configurare manualmente un'infrastruttura distribuita.