FP4

FP4 è una famiglia di formati in virgola mobile a 4 bit utilizzati per comprimere e accelerare i modelli di AI tramite la quantizzazione dei modelli. In genere rappresenta ogni valore con un bit di segno, due bit per l'esponente e un bit per la mantissa, una configurazione denominata E2M1. Rispetto a FP16, FP4 può ridurre notevolmente il traffico di memoria e lo spazio di archiviazione, aiutando le GPU supportate a elaborare più velocemente i modelli di grandi dimensioni. Il formato a bassa precisione NVFP4 di NVIDIA è un'implementazione di rilievo progettata per l'hardware della generazione Blackwell. (developer.nvidia.com)

Come funziona FP4#

Con soli 16 possibili pattern di bit, il formato FP4 semplice non è in grado di rappresentare con precisione l'ampio intervallo di valori presenti nelle reti neurali. Le implementazioni moderne dividono quindi i tensori in piccoli blocchi e memorizzano una scala condivisa per ciascun blocco. Lo schema di quantizzazione NVFP4 di NVIDIA, ad esempio, utilizza blocchi di 16 valori E2M1, mentre la specifica OCP dei formati di microscalatura open definisce MXFP4 con metadati di microscalatura.

Durante il calcolo, un motore di inferenza quantizza i valori a precisione maggiore, esegue in FP4 le operazioni matriciali supportate e restituisce i risultati a una precisione maggiore quando necessario. L'attuale supporto all'inferenza NVFP4 in TorchAO utilizza la quantizzazione dinamica delle attivazioni e una doppia scalatura per pesi e attivazioni. (docs.nvidia.com)

Confronto tra FP4 e formati correlati#

• FP16 o mezza precisione: Offre un intervallo numerico molto più ampio ed è generalmente più semplice da distribuire, ma utilizza quattro volte più bit per valore.
• FP8: In genere offre una precisione e una stabilità dell'addestramento migliori rispetto a FP4, richiedendo al contempo circa il doppio dello spazio di archiviazione.
• BF16: È comunemente utilizzato per l'addestramento perché il suo ampio intervallo dell'esponente riduce il rischio di overflow. Lo studio del 2025 FP4 fino in fondo ha dimostrato che un addestramento FP4 accuratamente scalato può avvicinarsi alle prestazioni di BF16.
• INT4: Utilizza livelli interi anziché esponenti in virgola mobile. FP4 può rappresentare in modo più naturale valori di magnitudini diverse, mentre INT4 può funzionare bene per la compressione dei soli pesi.
• NVFP4 rispetto a MXFP4: NVFP4 utilizza blocchi più piccoli e scale a maggiore precisione, migliorando in genere la precisione a fronte di un costo contenuto in termini di metadati.

FP4 può anche riferirsi a un socket per processori AMD FP4 non correlato. Nell'AI, FP4 indica l'aritmetica in virgola mobile a 4 bit, non il precedente package per CPU dei laptop.

Applicazioni nel mondo reale#

1. Inferenza generativa di immagini: NVIDIA ha dimostrato la generazione di immagini FP4 sulle GPU RTX Serie 50, riducendo l'utilizzo di memoria e accelerando i carichi di lavoro di diffusione impiegati nell'AI generativa.

2. Addestramento e serving di modelli di grandi dimensioni: I sistemi Blackwell hanno utilizzato NVFP4 nell'addestramento MLPerf per migliorare il throughput dei modelli linguistici di grandi dimensioni. FP4 può offrire vantaggi analoghi ai futuri sistemi di computer vision limitati dalla memoria che richiedono inferenza in tempo reale. (developer.nvidia.com)

Utilizzare FP4 in modo efficace#

A luglio 2026, le operazioni matriciali FP4 con accelerazione hardware richiedono GPU NVIDIA Blackwell o successive; H100 è basata su Hopper e non offre accelerazione FP4 nativa. Dovresti verificare la compatibilità tramite la matrice di supporto hardware di TensorRT, convalidare la precisione dopo la conversione e valutare l'addestramento consapevole della quantizzazione utilizzando il workflow QAT di TorchAO quando la quantizzazione post-addestramento causa un degrado eccessivo. (docs.nvidia.com)

Ultralytics attualmente offre l'esportazione FP16 e INT8 pronta per la produzione per YOLO26. Questo workflow analogo crea un motore TensorRT ottimizzato:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
engine = model.export(format="engine", quantize=16)
results = YOLO(engine).predict("https://ultralytics.com/images/bus.jpg")

L'integrazione TensorRT di Ultralytics illustra le opzioni di precisione supportate, mentre la modalità benchmark di YOLO aiuta a confrontare precisione e latenza. Per una distribuzione FP4 sperimentale, segui le best practice sulla precisione di TensorRT-RTX e tecniche specifiche del formato come Micro-Rotated GPTQ, poiché FP4 non è automaticamente più preciso o più veloce di un workflow INT4 o FP8 ben ottimizzato.