FP4

了解 FP4 量化如何压缩 AI 模型、减少内存使用并加速推理。比较 NVFP4、MXFP4、FP8、INT4 和 FP16 格式。

FP4 是一系列用于通过 model quantization 对 AI 模型进行压缩和加速的 4 位浮点格式。它通常用 1 个符号位、2 个指数位和 1 个尾数位来表示每个数值，称为 E2M1。与 FP16 相比，FP4 可以极大地减少内存流量和存储需求，从而帮助受支持的 GPUs 更快地处理大型模型。NVIDIA 的 NVFP4 low-precision format 是一种专为 Blackwell 架构硬件设计的突出实现。 (developer.nvidia.com)

Link to this sectionFP4 的工作原理#

由于只有 16 种可能的位模式，普通的 FP4 无法精确地表示神经网络中广泛存在的数值范围。因此，现代实现方案会将张量划分为小块，并为每个块存储一个共享的缩放比例。例如，NVIDIA 的 NVFP4 quantization scheme 使用由 16 个 E2M1 值组成的块，而开放的 OCP Microscaling Formats specification 则定义了带有微缩放元数据的 MXFP4。

在计算过程中，inference engine 会对高精度数值进行量化，以 FP4 格式执行受支持的矩阵运算，并在必要时将结果返回为更高的精度。当前的 TorchAO NVFP4 inference support 对权重和激活使用动态激活量化和双重缩放。 (docs.nvidia.com)

Link to this sectionFP4 与相关格式的比较#

FP16 or half precision： 提供更宽的数值范围，通常更容易部署，但每个数值占用的位数是 FP4 的四倍。
FP8： 通常比 FP4 提供更好的精度和训练稳定性，同时需要的存储空间大约是 FP4 的两倍。
BF16： 常用于训练，因为其较大的指数范围降低了溢出风险。2025 年的 FP4 All the Way study 表明，经过仔细缩放的 FP4 训练可以接近 BF16 的性能。
INT4： 使用整数级别而非浮点指数。FP4 可以更自然地表示跨不同数量级的数值，而 INT4 可能适用于仅权重的压缩。
NVFP4 与 MXFP4： NVFP4 使用更小的块和更高精度的缩放比例，通常能以适度的元数据开销提升精度。

FP4 也可能指不相关的 AMD FP4 processor socket。在 AI 领域，FP4 指的是四位浮点算术，而非早期的笔记本电脑 CPU 插槽。

Link to this section实际应用#

生成式图像推理： NVIDIA 展示了 FP4 image generation on RTX 50 Series GPUs，这减少了内存占用并加速了 generative AI 中使用的扩散工作负载。
Large-model training and serving: Blackwell systems have used NVFP4 in MLPerf training to improve large language model throughput. FP4 can similarly benefit future memory-bound computer vision systems that require real-time inference. (developer.nvidia.com)

Link to this section有效使用 FP4#

As of July 2026, hardware-accelerated FP4 matrix operations require NVIDIA Blackwell or newer GPUs; the H100 is Hopper-based and does not provide native FP4 acceleration. Developers should confirm compatibility through the TensorRT hardware support matrix, validate accuracy after conversion, and consider quantization-aware training using the TorchAO QAT workflow when post-training quantization causes excessive degradation. (docs.nvidia.com)

Ultralytics 目前为 YOLO26 提供生产级的 FP16 和 INT8 导出。此类似的工作流程可创建经过优化的 TensorRT 引擎：

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
engine = model.export(format="engine", quantize=16)
results = YOLO(engine).predict("https://ultralytics.com/images/bus.jpg")

虽然 Ultralytics TensorRT integration 说明了受支持的精度选项，且 YOLO benchmark mode 有助于比较精度和延迟，但在进行实验性 FP4 部署时，请遵循 TensorRT-RTX precision best practices 和特定格式的技术（例如 Micro-Rotated GPTQ），因为 FP4 并不自动比优化良好的 INT4 或 FP8 工作流程更精确或更快。