Distributed Training

L'addestramento distribuito è un metodo nel machine learning in cui il carico di lavoro per l'addestramento di un modello viene suddiviso tra più processori o macchine. Questo approccio è essenziale per gestire dataset su larga scala e complesse architetture di reti neurali che altrimenti richiederebbero una quantità di tempo impraticabile per essere addestrate su un singolo dispositivo. Sfruttando la potenza di calcolo combinata di più Graphics Processing Units (GPUs) o Tensor Processing Units (TPUs), l'addestramento distribuito accelera significativamente il ciclo di sviluppo, consentendo a ricercatori e ingegneri di iterare più velocemente e ottenere una maggiore accuracy nei propri modelli.

Link to this sectionCome funziona l'addestramento distribuito#

L'idea di base dietro l'addestramento distribuito è la parallelizzazione. Invece di elaborare i dati in sequenza su un singolo chip, l'attività viene divisa in blocchi più piccoli che vengono elaborati simultaneamente. Esistono due strategie principali per ottenere questo risultato:

• Data Parallelism: Questo è l'approccio più comune per compiti come l'object detection. In questa configurazione, una copia dell'intero modello viene inserita su ogni dispositivo. Il training data globale viene suddiviso in batch più piccoli e ogni dispositivo elabora un batch diverso contemporaneamente. Dopo ogni passaggio, i gradienti (gli aggiornamenti al modello) vengono sincronizzati tra tutti i dispositivi per garantire che i model weights rimangano coerenti.
• Model Parallelism: Quando una neural network (NN) è troppo grande per rientrare nella memoria di una singola GPU, il modello stesso viene suddiviso su più dispositivi. Diversi strati o componenti del modello risiedono su chip diversi e i dati fluiscono tra di essi. Questo è spesso necessario per l'addestramento di massicci foundation models e Large Language Models (LLMs).

Link to this sectionApplicazioni nel mondo reale#

L'addestramento distribuito ha trasformato i settori rendendo possibile risolvere problemi che in precedenza erano computazionalmente irrealizzabili.

• Guida autonoma: Lo sviluppo di autonomous vehicles sicuri richiede l'analisi di petabyte di dati video e dei sensori. Gli ingegneri automobilistici utilizzano grandi cluster distribuiti per addestrare modelli di visione per la semantic segmentation in tempo reale e il rilevamento delle corsie. Questa scala massiccia assicura che i sistemi di AI in automotive possano reagire in modo affidabile a diverse condizioni stradali.
• Imaging medico: Nel settore sanitario, l'analisi di scansioni 3D ad alta risoluzione come le risonanze magnetiche richiede una notevole memoria e potenza di calcolo. L'addestramento distribuito consente ai ricercatori di costruire strumenti diagnostici ad alte prestazioni per il tumor detection e altre attività critiche. Utilizzando framework come NVIDIA MONAI, gli ospedali possono addestrare modelli su dataset diversificati senza raggiungere colli di bottiglia della memoria, migliorando i risultati dell'AI in healthcare.

Link to this sectionUtilizzare l'addestramento distribuito con Ultralytics#

La libreria ultralytics rende semplice implementare l'addestramento Distributed Data Parallel (DDP). Puoi scalare l'addestramento dei modelli all'avanguardia YOLO26 su più GPU specificando semplicemente gli indici dei dispositivi nei tuoi argomenti di addestramento.

from ultralytics import YOLO

# Load a pre-trained YOLO26 model
model = YOLO("yolo26n.pt")

# Train the model using two GPUs (device 0 and 1)
# The library automatically handles the DDP communication backend
results = model.train(data="coco8.yaml", epochs=100, device=[0, 1])

Link to this sectionConcetti correlati e confronti#

È utile distinguere l'addestramento distribuito da termini simili nell'ecosistema del machine learning per comprenderne i ruoli specifici:

• Vs. Federated Learning: Sebbene entrambi coinvolgano più dispositivi, i loro obiettivi differiscono. L'addestramento distribuito solitamente centralizza i dati in un cluster ad alte prestazioni per massimizzare la velocità. Al contrario, il federated learning mantiene i dati decentralizzati sui dispositivi degli utenti (come gli smartphone) per dare priorità alla data privacy, aggiornando il modello globale senza che i dati grezzi lascino mai la fonte.
• Vs. High-Performance Computing (HPC): L'HPC è un campo vasto che include il supercalcolo per simulazioni scientifiche come le previsioni meteorologiche. L'addestramento distribuito è un'applicazione specifica dell'HPC applicata agli optimization algorithms nel deep learning. Spesso si affida a librerie di comunicazione specializzate come NVIDIA NCCL per minimizzare la latenza tra le GPU.

Link to this sectionScalare con le piattaforme cloud#

Gestire l'infrastruttura per l'addestramento distribuito può essere complesso. Le piattaforme moderne semplificano questo aspetto offrendo ambienti gestiti. Ad esempio, la Ultralytics Platform consente agli utenti di gestire dataset e avviare sessioni di addestramento che possono essere distribuite in ambienti cloud o cluster locali. Questa integrazione semplifica il flusso di lavoro dal data annotation fino al model deployment finale, garantendo che scalare su più GPU sia il più fluido possibile. Allo stesso modo, i provider cloud come Google Cloud Vertex AI e Amazon SageMaker forniscono un'infrastruttura robusta per eseguire lavori di addestramento distribuito su scala aziendale.