Mixed Precision

La precisione mista è una tecnica fondamentale nell'ottimizzazione dei modelli utilizzata per accelerare l'addestramento dei modelli di deep learning riducendo al contempo il consumo di memoria. Combinando strategicamente diversi formati numerici, in genere rappresentazioni in virgola mobile a 16 e 32 bit, questo metodo consente agli algoritmi di machine learning di eseguire i calcoli più rapidamente senza compromettere l'accuratezza finale del modello. È diventata una pratica standard nello sviluppo moderno dell'AI, in particolare per attività che richiedono molte risorse, come l'addestramento dell'architettura YOLO26 su dataset di grandi dimensioni.

Come funziona la precisione mista#

Nei flussi di lavoro tradizionali di deep learning, i modelli eseguono solitamente i calcoli utilizzando il formato in virgola mobile a precisione singola (FP32). Ogni numero in FP32 richiede 32 bit di memoria. Sebbene sia altamente preciso, questo formato può avere costi computazionali elevati e richiedere molta memoria.

La precisione mista introduce l'uso della mezza precisione (FP16), che utilizza solo 16 bit. Tuttavia, utilizzare esclusivamente FP16 può causare instabilità numerica a causa di un intervallo dinamico più ridotto. Per risolvere questo problema, i metodi a precisione mista mantengono una "copia master" dei pesi del modello in FP32 per garantire la stabilità, mentre utilizzano FP16 per le operazioni matematiche più onerose, come convoluzioni e moltiplicazioni di matrici.

Il processo prevede generalmente tre passaggi fondamentali:

1. Conversione: conversione degli input e delle attivazioni del modello in FP16 per velocizzare l'esecuzione su hardware compatibile, come i Tensor Core NVIDIA.

2. Ridimensionamento della loss: amplificazione dei valori della funzione di loss per prevenire l'"underflow", ovvero la trasformazione in zeri dei piccoli aggiornamenti dei gradienti in FP16.

3. Accumulo: esecuzione delle operazioni aritmetiche in FP16, accumulando però i risultati in FP32 per preservare le informazioni necessarie prima di aggiornare i pesi master.

Vantaggi nell'addestramento dell'AI#

L'adozione della precisione mista offre vantaggi significativi agli sviluppatori e ai ricercatori che utilizzano in modo efficace le risorse computazionali:

• Maggiore velocità di addestramento: le operazioni in FP16 richiedono meno larghezza di banda della memoria e vengono elaborate più rapidamente dalle moderne GPU. Questo può ridurre notevolmente il tempo necessario per un'epoca.
• Minore utilizzo della memoria: poiché i tensori FP16 occupano metà della memoria rispetto a quelli FP32, gli sviluppatori possono sostanzialmente raddoppiare la dimensione del batch. Dimensioni del batch maggiori spesso producono stime dei gradienti più stabili e una convergenza più rapida.
• Efficienza energetica: la riduzione del carico computazionale si traduce in un minor consumo energetico, fondamentale per le operazioni di addestramento nel cloud su larga scala.

Applicazioni nel mondo reale#

La precisione mista viene utilizzata in diversi settori per gestire in modo efficiente modelli complessi e dataset di grandi dimensioni.

Guida autonoma#

Nello sviluppo dei veicoli autonomi, gli ingegneri devono addestrare modelli di rilevamento degli oggetti su milioni di fotogrammi video ad alta risoluzione. L'uso della precisione mista consente di addestrare in modo efficiente modelli all'avanguardia come YOLO26. La riduzione dell'occupazione di memoria permette di elaborare input a risoluzione più elevata, un aspetto fondamentale per rilevare oggetti di piccole dimensioni, come segnali stradali o pedoni, a distanza.

Analisi delle immagini mediche#

L'analisi delle immagini mediche spesso include dati volumetrici 3D provenienti da scansioni MRI o CT, estremamente onerosi in termini di memoria. L'addestramento di modelli di segmentazione su questi dati utilizzando la precisione FP32 completa porta spesso a errori di "Memoria esaurita" (OOM). La precisione mista consente ai ricercatori di adattare questi modelli complessi alla memoria della GPU, favorendo lo sviluppo di sistemi di AI in grado di aiutare i medici a diagnosticare prima le malattie.

Implementazione della precisione mista con Ultralytics#

I framework moderni come PyTorch gestiscono solitamente in automatico le complessità della precisione mista tramite una funzionalità chiamata Precisione mista automatica (AMP). Il pacchetto ultralytics abilita AMP per impostazione predefinita durante l'addestramento, per garantire prestazioni ottimali.

Ecco un esempio conciso di come avviare l'addestramento con Ultralytics YOLO26, in cui la precisione mista è attiva per impostazione predefinita (e può essere controllata tramite l'argomento amp):

from ultralytics import YOLO

# Load the latest YOLO26 model
model = YOLO("yolo26n.pt")

# Train the model on the COCO8 dataset
# amp=True is the default setting for mixed precision training
results = model.train(data="coco8.yaml", epochs=5, imgsz=640, amp=True)

Precisione mista e concetti correlati#

Per evitare confusioni, è utile distinguere la precisione mista da termini simili presenti nel glossario:

• Quantizzazione dei modelli: mentre la precisione mista utilizza numeri in virgola mobile a precisione inferiore (FP16) durante l'addestramento, la quantizzazione converte in genere i pesi in numeri interi, come INT8, dopo l'addestramento per la distribuzione. La quantizzazione si concentra principalmente sulla latenza dell'inferenza sui dispositivi edge, mentre la precisione mista si concentra sulla velocità e sulla stabilità dell'addestramento.
• Mezza precisione: si riferisce specificamente al formato dei dati FP16. La precisione mista è la tecnica che utilizza insieme FP16 e FP32. L'uso della sola mezza precisione, senza la copia master FP32 "mista", spesso produce modelli che non riescono a convergere a causa di errori numerici.

Conclusione#

La precisione mista ha rivoluzionato il modo in cui vengono addestrate le reti neurali, fungendo da elemento abilitante fondamentale per i grandi modelli fondazionali e i sistemi di visione che utilizziamo oggi. Bilanciando la necessità di precisione matematica con i vincoli di velocità e memoria dell'hardware, consente agli sviluppatori di iterare più rapidamente e creare soluzioni di AI più capaci.

Per chi desidera gestire i dataset e addestrare modelli ottimizzati senza difficoltà, la Ultralytics Platform offre un ambiente completo che sfrutta automaticamente queste moderne tecniche di ottimizzazione.