Mixed Precision

La precisione mista è una tecnica fondamentale nell'ottimizzazione dei modelli utilizzata per accelerare l'addestramento dei modelli di deep learning riducendo al contempo il consumo di memoria. Combinando strategicamente diversi formati numerici, tipicamente tipi a virgola mobile a 16 e 32 bit, questo metodo consente agli algoritmi di machine learning di eseguire i calcoli più rapidamente senza sacrificare l'accuratezza finale del modello. È diventata una pratica standard nello sviluppo moderno dell'IA, in particolare per attività ad alto consumo di risorse come l'addestramento dell'architettura YOLO26 su dataset massicci.

Link to this sectionCome funziona la precisione mista#

Nei flussi di lavoro tradizionali di deep learning, i modelli eseguono solitamente i calcoli utilizzando il formato a virgola mobile a precisione singola (FP32). Ogni numero in FP32 richiede 32 bit di memoria. Sebbene altamente preciso, questo formato può essere computazionalmente costoso e avido di memoria.

La precisione mista introduce l'uso della mezza precisione (FP16), che utilizza solo 16 bit. Tuttavia, l'uso esclusivo di FP16 può portare a instabilità numerica a causa di un intervallo dinamico più ridotto. Per risolvere questo problema, i metodi di precisione mista mantengono una "copia master" dei pesi del modello in FP32 per la stabilità, utilizzando al contempo FP16 per il lavoro pesante delle operazioni matematiche, come convoluzioni e moltiplicazioni di matrici.

Il processo prevede generalmente tre passaggi chiave:

1. Casting: Conversione degli input e delle attivazioni del modello in FP16 per velocizzare l'esecuzione su hardware compatibile, come i NVIDIA Tensor Cores.

2. Loss Scaling: Amplificazione dei valori della funzione di perdita per prevenire l'"underflow", dove i piccoli aggiornamenti del gradiente diventano zeri in FP16.

3. Accumulazione: Esecuzione delle operazioni aritmetiche in FP16, ma accumulando i risultati in FP32 per preservare le informazioni necessarie prima di aggiornare i pesi master.

Link to this sectionVantaggi nell'addestramento dell'IA#

L'adozione della precisione mista offre vantaggi significativi per gli sviluppatori e i ricercatori che utilizzano efficacemente le risorse computazionali:

• Velocità di addestramento maggiore: Le operazioni in FP16 richiedono meno larghezza di banda di memoria e vengono elaborate più rapidamente dalle moderne GPU. Questo può ridurre notevolmente il tempo richiesto per un'epoca.
• Riduzione dell'utilizzo di memoria: Poiché i tensori FP16 occupano la metà della memoria rispetto agli FP32, gli sviluppatori possono essenzialmente raddoppiare la loro dimensione del batch. Batch più grandi portano spesso a stime del gradiente più stabili e a una convergenza più rapida.
• Efficienza energetica: Il ridotto carico computazionale si traduce in un minor consumo di energia, il che è cruciale per le operazioni di addestramento nel cloud su larga scala.

Link to this sectionApplicazioni nel mondo reale#

La precisione mista viene utilizzata in vari settori per gestire in modo efficiente modelli complessi e grandi dataset.

Link to this sectionGuida autonoma#

Nello sviluppo di veicoli autonomi, gli ingegneri devono addestrare modelli di rilevamento oggetti su milioni di fotogrammi video ad alta risoluzione. L'uso della precisione mista consente loro di addestrare in modo efficiente modelli all'avanguardia come YOLO26. L'ingombro di memoria ridotto abilita l'elaborazione di input a risoluzione più elevata, fondamentale per rilevare piccoli oggetti come segnali stradali o pedoni a distanza.

Link to this sectionAnalisi delle immagini mediche#

L'analisi delle immagini mediche coinvolge spesso dati volumetrici 3D provenienti da scansioni MRI o CT, che sono estremamente intensivi in termini di memoria. L'addestramento di modelli di segmentazione su questi dati con precisione FP32 completa porta spesso a errori di "Out of Memory" (OOM). La precisione mista consente ai ricercatori di adattare questi modelli pesanti alla memoria della GPU, facilitando lo sviluppo di un'IA in grado di assistere i medici nella diagnosi precoce delle malattie.

Link to this sectionImplementazione della precisione mista con Ultralytics#

Framework moderni come PyTorch gestiscono solitamente le complessità della precisione mista automaticamente tramite una funzionalità chiamata Automatic Mixed Precision (AMP). Il pacchetto ultralytics abilita AMP per impostazione predefinita durante l'addestramento per garantire prestazioni ottimali.

Ecco un esempio conciso di come avviare l'addestramento con YOLO26, dove la precisione mista è attiva per impostazione predefinita (controllabile tramite l'argomento amp):

from ultralytics import YOLO

# Load the latest YOLO26 model
model = YOLO("yolo26n.pt")

# Train the model on the COCO8 dataset
# amp=True is the default setting for mixed precision training
results = model.train(data="coco8.yaml", epochs=5, imgsz=640, amp=True)

Link to this sectionPrecisione mista vs. concetti correlati#

È utile distinguere la precisione mista da termini simili nel glossario per evitare confusione:

• Quantizzazione del modello: Mentre la precisione mista utilizza numeri a virgola mobile a precisione inferiore (FP16) durante l'addestramento, la quantizzazione converte solitamente i pesi in numeri interi (come INT8) dopo l'addestramento per la distribuzione. La quantizzazione si concentra principalmente sulla latenza di inferenza sui dispositivi edge, mentre la precisione mista si concentra sulla velocità e stabilità dell'addestramento.
• Mezza precisione: Questo termine si riferisce specificamente al formato dati FP16 stesso. La precisione mista è la tecnica di utilizzare insieme sia FP16 che FP32. Utilizzare solo la mezza precisione senza la copia master "mista" FP32 porta spesso a modelli che non convergono a causa di errori numerici.

Link to this sectionConclusione#

La precisione mista ha rivoluzionato il modo in cui vengono addestrate le reti neurali, fungendo da abilitatore critico per i massicci modelli di base e i sistemi di visione che vediamo oggi. Bilanciando la necessità di precisione matematica con i vincoli di velocità e memoria dell'hardware, consente agli sviluppatori di iterare più velocemente e costruire soluzioni IA più capaci.

Per chi desidera gestire dataset e addestrare modelli ottimizzati senza problemi, la piattaforma Ultralytics offre un ambiente completo che sfrutta automaticamente queste moderne tecniche di ottimizzazione.