Mezza precisione

Che cos'è la mezza precisione?

I numeri in virgola mobile sono utilizzati per rappresentare i numeri reali nei computer, approssimandoli con un numero fisso di bit. Lo standard IEEE 754 definisce i formati più comuni, tra cui FP16 e FP32. Un numero FP16 utilizza 1 bit per il segno, 5 bit per l'esponente (che determina l'intervallo) e 10 bit per il significante o mantissa (che determina la precisione). In confronto, l'FP32 utilizza 1 bit per il segno, 8 bit per l'esponente e 23 bit per il significante. Questa riduzione di bit fa sì che FP16 abbia un intervallo numerico significativamente più piccolo e una precisione inferiore rispetto a FP32. Per una panoramica di base sul funzionamento di questi formati, vedi Nozioni di base sull'aritmetica in virgola mobile.

Vantaggi della mezza precisione

L'uso di FP16 offre diversi vantaggi nei flussi di lavoro di deep learning:

• Utilizzo ridotto della memoria: I pesi, le attivazioni e i gradienti del modello memorizzati in FP16 richiedono la metà della memoria rispetto a FP32. Questo permette di utilizzare modelli più grandi, lotti di dimensioni maggiori o dispositivi con memoria limitata.
• Calcoli più veloci: L'hardware moderno, come le GPUNVIDIA con Tensor Cores e i processori specializzati come le TPUGoogle , possono eseguire le operazioni FP16 molto più velocemente delle operazioni FP32.
• Maggiore produttività e minore latenza: La combinazione di requisiti ridotti di larghezza di banda della memoria e calcoli più veloci porta a un maggiore throughput durante l'addestramento e a una minore latenza di inferenza, consentendo l'inferenza in tempo reale per le applicazioni più esigenti.

Potenziali svantaggi

Sebbene sia vantaggioso, l'uso esclusivo dell'FP16 può talvolta causare problemi:

• Intervallo numerico ridotto: L'intervallo ridotto di esponenti rende i numeri FP16 più suscettibili all'overflow (diventare troppo grandi) o all'underflow (diventare troppo piccoli, spesso zero).
• Minore precisione: Il numero ridotto di bit significativi comporta una minore precisione, che a volte può influire sull'accuratezza finale dei modelli sensibili se non viene gestita con attenzione.
• Problemi con il gradiente: Durante l'addestramento, i piccoli valori del gradiente potrebbero andare a zero in FP16, ostacolando l'apprendimento. Questo può esacerbare problemi come la scomparsa dei gradienti.

Mezza precisione e concetti correlati

È importante distinguere l'FP16 da altri formati e tecniche numeriche:

• A precisione singola (FP32): Il formato predefinito in molti framework per l 'apprendimento automatico (ML), come ad esempio PyTorch e TensorFlow. Offre un buon equilibrio tra portata e precisione per la maggior parte dei compiti, ma richiede più risorse rispetto all'FP16.
• Doppia precisione (FP64): Offre un'altissima precisione ma richiede il doppio della memoria e delle risorse di calcolo dell'FP32. Viene utilizzato principalmente nel calcolo scientifico, raramente nel deep learning.
• Precisione mista: Questo è il modo più comune in cui l'FP16 viene utilizzato nel deep learning. Implica l'uso strategico di FP16 e FP32 durante l'addestramento o l'inferenza. In genere, le operazioni ad alta intensità di calcolo, come le convoluzioni e le moltiplicazioni matriciali, vengono eseguite in FP16 per aumentare la velocità, mentre le operazioni critiche, come gli aggiornamenti dei pesi o alcune riduzioni, vengono mantenute in FP32 per mantenere la stabilità numerica e la precisione. Tecniche come il loss scaling aiutano a mitigare i problemi di underflow. Consulta il documento originale Mixed-Precision Training o le guide di PyTorch AMP e TensorFlow Mixed Precision. I modelli Ultralytics spesso sfruttano la precisione mista; vedi i suggerimenti per la formazione dei modelli.
• BFloat16 (BF16): Un altro formato a 16 bit, sviluppato principalmente da Google. Utilizza 8 bit di esponente (come l'FP32, che offre un'ampia gamma) ma solo 7 bit di significante (precisione inferiore all'FP16). È particolarmente utile per l'addestramento di modelli linguistici di grandi dimensioni (LLM). Per saperne di più su BFloat16.
• Quantizzazione del modello: Tecniche che riducono ulteriormente la precisione del modello, spesso a numeri interi a 8 bit (INT8) o meno. Questo garantisce la massima efficienza per l'implementazione su dispositivi edge, ma di solito richiede un'attenta calibrazione o un Quantization-Aware Training (QAT) per mantenere la precisione. Vedi l'introduzione alla quantizzazione su PyTorch.

Applicazioni ed esempi

La mezza precisione, soprattutto attraverso tecniche di precisione mista, è ampiamente utilizzata:

1. Accelerazione della formazione dei modelli: L'addestramento di modelli di deep learning di grandi dimensioni, come quelli per la classificazione delle immagini o l'elaborazione del linguaggio naturale (NLP), può essere notevolmente velocizzato utilizzando la precisione mista, riducendo i tempi e i costi di addestramento. Piattaforme come Ultralytics HUB utilizzano spesso queste ottimizzazioni.
2. Ottimizzazione dell'inferenza per il rilevamento degli oggetti: Modelli come Ultralytics YOLO11 possono essere esportati (utilizzando gli strumenti descritti nella documentazione sulla modalità di esportazione) in formati come ONNX o TensorRT con precisione FP16 per un'inferenza più veloce. Questo è fondamentale per le applicazioni che richiedono prestazioni in tempo reale, come i veicoli autonomi o i sistemi di videosorveglianza in diretta.
3. Distribuzione su dispositivi con risorse limitate: L'ingombro ridotto della memoria e il costo di calcolo dei modelli FP16 li rendono adatti all'implementazione su piattaforme di edge computing come NVIDIA Jetson o dispositivi mobili che utilizzano framework come TensorFlow Lite o Core ML.
4. Formazione di modelli linguistici di grandi dimensioni (LLM): Le enormi dimensioni di modelli come il GPT-3 e le architetture più recenti richiedono l'uso di formati a 16 bit (FP16 o BF16) per inserire i modelli nella memoria e completare l'addestramento in tempi ragionevoli.

In sintesi, la semiprecisione (FP16) è uno strumento fondamentale per l'ottimizzazione dell'apprendimento profondo, in quanto consente un calcolo più veloce e un utilizzo ridotto della memoria. Sebbene abbia dei limiti in termini di intervallo e precisione, questi vengono spesso gestiti in modo efficace utilizzando tecniche di precisione mista, rendendola indispensabile per l'addestramento di modelli di grandi dimensioni e l'implementazione di applicazioni di intelligenza artificiale efficienti.