FP4

FP4는 모델 양자화를 통해 AI 모델을 압축하고 가속화하는 데 사용되는 4비트 부동 소수점 형식군입니다. 일반적으로 각 값을 1개의 부호 비트, 2개의 지수 비트, 1개의 가수 비트로 표현하며, 이를 E2M1이라고 부릅니다. FP16과 비교했을 때, FP4는 메모리 트래픽과 저장 공간을 크게 줄여 지원되는 GPU가 대규모 모델을 더 빠르게 처리하도록 돕습니다. NVIDIA의 NVFP4 저정밀도 형식은 Blackwell 세대 하드웨어를 위해 설계된 대표적인 구현 사례입니다. (developer.nvidia.com)

Link to this sectionFP4 작동 원리#

FP4는 16개의 비트 패턴만 가질 수 있어, 신경망에서 발견되는 광범위한 값을 정확하게 표현할 수 없습니다. 따라서 최신 구현 방식에서는 텐서를 작은 블록으로 나누고 각 블록에 대한 공유 스케일을 저장합니다. 예를 들어 NVIDIA의 NVFP4 양자화 스킴은 16개의 E2M1 값으로 구성된 블록을 사용하는 반면, 공개된 OCP 마이크로스케일링 형식 사양은 마이크로스케일링 메타데이터를 포함한 MXFP4를 정의합니다.

계산 과정에서 추론 엔진은 더 높은 정밀도의 값을 양자화하고, FP4에서 지원되는 행렬 연산을 수행한 뒤, 필요에 따라 더 높은 정밀도로 결과를 반환합니다. 현재 TorchAO NVFP4 추론 지원은 가중치 및 활성화 함수에 동적 활성화 양자화와 이중 스케일링을 사용합니다. (docs.nvidia.com)

Link to this sectionFP4와 관련 형식 비교#

• FP16 또는 하프 정밀도: 훨씬 더 넓은 수치 범위를 제공하며 일반적으로 배포가 더 쉽지만, 값당 4배 더 많은 비트를 사용합니다.
• FP8: 일반적으로 FP4보다 나은 정확도와 학습 안정성을 제공하며, 저장 공간은 대략 2배 정도 필요합니다.
• BF16: 큰 지수 범위가 오버플로우 위험을 줄여주기 때문에 학습에 흔히 사용됩니다. 2025년의 FP4 All the Way 연구에 따르면, 신중하게 스케일링된 FP4 학습은 BF16 성능에 근접할 수 있음을 보여주었습니다.
• INT4: 부동 소수점 지수 대신 정수 수준을 사용합니다. FP4는 다양한 규모의 값을 더 자연스럽게 표현할 수 있는 반면, INT4는 가중치 전용 압축에 효과적일 수 있습니다.
• NVFP4 대 MXFP4: NVFP4는 더 작은 블록과 더 높은 정밀도의 스케일을 사용하여, 약간의 메타데이터 비용으로 정확도를 향상시킵니다.

FP4는 관계없는 AMD FP4 프로세서 소켓을 의미할 수도 있습니다. AI 분야에서 FP4는 이전의 노트북 CPU 패키지가 아닌, 4비트 부동 소수점 산술을 의미합니다.

Link to this section실제 애플리케이션 사례#

1. 생성형 이미지 추론: NVIDIA는 RTX 50 시리즈 GPU에서의 FP4 이미지 생성을 시연하여, 생성형 AI에 사용되는 확산 모델 워크로드의 메모리 사용량을 줄이고 가속화했습니다.

2. Large-model training and serving: Blackwell systems have used NVFP4 in MLPerf training to improve large language model throughput. FP4 can similarly benefit future memory-bound computer vision systems that require real-time inference. (developer.nvidia.com)

Link to this sectionFP4 효과적으로 사용하기#

As of July 2026, hardware-accelerated FP4 matrix operations require NVIDIA Blackwell or newer GPUs; the H100 is Hopper-based and does not provide native FP4 acceleration. Developers should confirm compatibility through the TensorRT hardware support matrix, validate accuracy after conversion, and consider quantization-aware training using the TorchAO QAT workflow when post-training quantization causes excessive degradation. (docs.nvidia.com)

Ultralytics는 현재 YOLO26에 대해 프로덕션 수준의 FP16 및 INT8 내보내기를 지원합니다. 이와 유사한 워크로드를 통해 최적화된 TensorRT 엔진을 생성할 수 있습니다:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
engine = model.export(format="engine", quantize=16)
results = YOLO(engine).predict("https://ultralytics.com/images/bus.jpg")

Ultralytics TensorRT 통합에서 지원되는 정밀도 옵션을 설명하고 있으며, YOLO 벤치마크 모드는 정확도와 지연 시간을 비교하는 데 도움을 줍니다. 실험적인 FP4 배포를 위해서는 TensorRT-RTX 정밀도 모범 사례와 Micro-Rotated GPTQ와 같은 형식별 기술을 따라야 합니다. FP4가 잘 최적화된 INT4나 FP8 워크로드보다 자동으로 더 정확하거나 빠르지는 않기 때문입니다.