FP4

FP4 là một họ các định dạng dấu phẩy động 4-bit được sử dụng để nén và tăng tốc các AI model thông qua model quantization. Nó thường biểu diễn mỗi giá trị với một bit dấu, hai bit số mũ và một bit phần định trị, được gọi là E2M1. So với FP16, FP4 có thể giảm đáng kể lưu lượng bộ nhớ và dung lượng lưu trữ, giúp các GPUs được hỗ trợ xử lý các model lớn nhanh hơn. NVFP4 low-precision format của NVIDIA là một triển khai nổi bật được thiết kế cho phần cứng thế hệ Blackwell. (developer.nvidia.com)

Link to this sectionFP4 hoạt động như thế nào#

Với chỉ 16 mẫu bit khả dụng, FP4 cơ bản không thể biểu diễn chính xác phạm vi giá trị rộng lớn có trong các mạng thần kinh. Do đó, các triển khai hiện đại chia các tensor thành các khối nhỏ và lưu trữ một thang đo chung cho mỗi khối. Ví dụ, NVFP4 quantization scheme của NVIDIA sử dụng các khối gồm 16 giá trị E2M1, trong khi OCP Microscaling Formats specification mở xác định MXFP4 với metadata vi mô.

Trong quá trình tính toán, một inference engine sẽ lượng tử hóa các giá trị có độ chính xác cao hơn, thực hiện các phép toán ma trận được hỗ trợ bằng FP4 và trả về kết quả ở độ chính xác cao hơn khi cần thiết. TorchAO NVFP4 inference support hiện tại sử dụng phương pháp lượng tử hóa kích hoạt động và thang đo kép cho trọng số và kích hoạt. (docs.nvidia.com)

Link to this sectionSo sánh FP4 với các định dạng liên quan#

• FP16 or half precision: Cung cấp phạm vi số học rộng hơn nhiều và nhìn chung dễ triển khai hơn, nhưng sử dụng số bit trên mỗi giá trị gấp bốn lần.
• FP8: Thường cung cấp độ chính xác và tính ổn định khi huấn luyện tốt hơn FP4, trong khi yêu cầu dung lượng lưu trữ lớn hơn khoảng gấp đôi.
• BF16: Thường được sử dụng để huấn luyện vì phạm vi số mũ lớn giúp giảm nguy cơ tràn số. Nghiên cứu FP4 All the Way study năm 2025 cho thấy rằng việc huấn luyện FP4 được quy mô hóa cẩn thận có thể tiệm cận hiệu suất của BF16.
• INT4: Sử dụng các mức số nguyên thay vì số mũ dấu phẩy động. FP4 có thể biểu diễn các giá trị trên các độ lớn khác nhau một cách tự nhiên hơn, trong khi INT4 có thể hoạt động tốt cho việc nén chỉ bao gồm trọng số.
• NVFP4 so với MXFP4: NVFP4 sử dụng các khối nhỏ hơn và thang đo có độ chính xác cao hơn, thường cải thiện độ chính xác với chi phí metadata khiêm tốn.

FP4 cũng có thể đề cập đến AMD FP4 processor socket không liên quan. Trong AI, FP4 có nghĩa là số học dấu phẩy động bốn bit, không phải gói CPU máy tính xách tay cũ hơn.

Link to this sectionCác ứng dụng trong thực tế#

1. Suy luận hình ảnh tạo sinh: NVIDIA đã trình diễn FP4 image generation on RTX 50 Series GPUs, giúp giảm mức sử dụng bộ nhớ và tăng tốc các khối lượng công việc khuếch tán được sử dụng trong generative AI.

2. Huấn luyện và phục vụ model lớn: Các hệ thống Blackwell đã sử dụng NVFP4 in MLPerf training để cải thiện thông lượng cho các model ngôn ngữ lớn. FP4 có thể mang lại lợi ích tương tự cho các hệ thống computer vision bị giới hạn bộ nhớ trong tương lai đòi hỏi real-time inference. (developer.nvidia.com)

Link to this sectionSử dụng FP4 hiệu quả#

Tính đến tháng 7 năm 2026, các phép toán ma trận FP4 tăng tốc bằng phần cứng yêu cầu NVIDIA Blackwell hoặc các GPU mới hơn; H100 dựa trên kiến trúc Hopper và không cung cấp khả năng tăng tốc FP4 nguyên bản. Các nhà phát triển nên xác nhận tính tương thích thông qua TensorRT hardware support matrix, kiểm chứng độ chính xác sau khi chuyển đổi và cân nhắc quantization-aware training sử dụng TorchAO QAT workflow khi quá trình lượng tử hóa sau huấn luyện gây ra sự suy giảm quá mức. (docs.nvidia.com)

Ultralytics hiện cung cấp khả năng xuất FP16 và INT8 sẵn sàng cho sản xuất cho YOLO26. Quy trình làm việc tương đương này tạo ra một TensorRT engine đã được tối ưu hóa:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
engine = model.export(format="engine", quantize=16)
results = YOLO(engine).predict("https://ultralytics.com/images/bus.jpg")

Tài liệu Ultralytics TensorRT integration giải thích các tùy chọn độ chính xác được hỗ trợ, trong khi YOLO benchmark mode giúp so sánh độ chính xác và độ trễ. Đối với việc triển khai FP4 thử nghiệm, hãy tuân theo TensorRT-RTX precision best practices và các kỹ thuật đặc thù cho định dạng như Micro-Rotated GPTQ, vì FP4 không tự động chính xác hoặc nhanh hơn so với quy trình INT4 hoặc FP8 đã được tối ưu hóa tốt.