FP4

FP4 est une famille de formats à virgule flottante sur 4 bits utilisée pour compresser et accélérer les modèles d’IA grâce à la quantification des modèles. Chaque valeur est généralement représentée par un bit de signe, deux bits d’exposant et un bit de mantisse, selon le format E2M1. Comparé au FP16, le FP4 peut réduire considérablement les transferts de données en mémoire et le stockage, ce qui aide les GPU compatibles à traiter plus rapidement les grands modèles. Le format basse précision NVFP4 de NVIDIA est une implémentation majeure conçue pour les matériels de génération Blackwell. (developer.nvidia.com)

Fonctionnement du FP4#

Avec seulement 16 configurations de bits possibles, le FP4 standard ne peut pas représenter précisément la vaste plage de valeurs présente dans les réseaux neuronaux. Les implémentations modernes divisent donc les tenseurs en petits blocs et stockent une échelle partagée pour chaque bloc. Le schéma de quantification NVFP4 de NVIDIA, par exemple, utilise des blocs de 16 valeurs E2M1, tandis que la spécification ouverte OCP Microscaling Formats définit le MXFP4 avec des métadonnées de mise à l’échelle microscopique.

Lors du calcul, un moteur d’inférence quantifie les valeurs de précision supérieure, effectue les opérations matricielles prises en charge en FP4 et renvoie les résultats avec une précision supérieure lorsque cela est nécessaire. La prise en charge actuelle de l’inférence NVFP4 dans TorchAO utilise une quantification dynamique des activations et une double mise à l’échelle des poids et des activations. (docs.nvidia.com)

Comparaison du FP4 avec les formats associés#

• FP16 ou demi-précision : Offre une plage numérique beaucoup plus étendue et est généralement plus facile à déployer, mais utilise quatre fois plus de bits par valeur.
• FP8 : Offre généralement une meilleure précision et une meilleure stabilité de l’entraînement que le FP4, tout en nécessitant environ deux fois plus de stockage.
• BF16 : Est couramment utilisé pour l’entraînement, car sa grande plage d’exposants réduit le risque de dépassement de capacité. L’étude FP4 « jusqu’au bout » de 2025 a montré qu’un entraînement FP4 correctement mis à l’échelle pouvait s’approcher des performances du BF16.
• INT4 : Utilise des niveaux entiers plutôt que des exposants à virgule flottante. Le FP4 peut représenter plus naturellement des valeurs de différentes magnitudes, tandis que l’INT4 peut être efficace pour la compression des poids uniquement.
• NVFP4 contre MXFP4 : Le NVFP4 utilise des blocs plus petits et des échelles de précision supérieure, ce qui améliore généralement la précision moyennant un coût modéré en métadonnées.

FP4 peut également désigner un socket de processeur AMD FP4 sans rapport. En IA, FP4 désigne l’arithmétique à virgule flottante sur 4 bits, et non l’ancien boîtier de processeur pour ordinateur portable.

Applications concrètes#

1. Inférence d’images génératives : NVIDIA a présenté la génération d’images FP4 sur les GPU RTX série 50, réduisant l’utilisation de la mémoire et accélérant les charges de travail de diffusion utilisées en IA générative.

2. Entraînement et mise en service de grands modèles : Les systèmes Blackwell ont utilisé le NVFP4 dans l’entraînement MLPerf pour améliorer le débit des grands modèles de langage. Le FP4 peut également profiter à de futurs systèmes de vision par ordinateur limités par la mémoire et nécessitant une inférence en temps réel. (developer.nvidia.com)

Utiliser efficacement le FP4#

En juillet 2026, les opérations matricielles FP4 accélérées matériellement nécessitent des GPU NVIDIA Blackwell ou plus récents ; le H100 est basé sur Hopper et ne fournit pas d’accélération FP4 native. Les développeurs doivent vérifier la compatibilité à l’aide de la matrice de prise en charge matérielle de TensorRT, valider la précision après la conversion et envisager un entraînement tenant compte de la quantification avec le flux de travail QAT de TorchAO lorsque la quantification après entraînement entraîne une dégradation excessive. (docs.nvidia.com)

Ultralytics fournit actuellement un export FP16 et INT8 prêt pour la production pour YOLO26. Ce flux de travail comparable crée un moteur TensorRT optimisé :

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
engine = model.export(format="engine", quantize=16)
results = YOLO(engine).predict("https://ultralytics.com/images/bus.jpg")

L’intégration TensorRT d’Ultralytics explique les options de précision prises en charge, tandis que le mode benchmark de YOLO aide à comparer la précision et la latence. Pour un déploiement FP4 expérimental, suis les bonnes pratiques de précision de TensorRT-RTX et les techniques propres à chaque format, comme Micro-Rotated GPTQ, car le FP4 n’est pas automatiquement plus précis ou plus rapide qu’un flux de travail INT4 ou FP8 correctement optimisé.