FP8

FP8은 신경망을 학습하고 실행하는 데 사용하는 8비트 부동소수점 수 형식으로, 16비트 형식보다 메모리와 데이터 이동량을 절반으로 줄입니다. 다른 부동소수점 형식과 마찬가지로 각 값에는 부호 비트, 범위를 결정하는 지수 비트, 정밀도를 결정하는 가수 비트가 있지만, 총 8비트만 사용하므로 범위와 정밀도를 크게 절충합니다. NVIDIA, Arm, Intel의 엔지니어들은 2022년 9월 논문 FP8 Formats for Deep Learning에서 표준 변형인 E4M3과 E5M2를 정의하고, 이를 사용해 최대 1,750억 개 파라미터의 언어 모델을 학습할 수 있음을 검증했습니다. 2022년에 출시된 NVIDIA Hopper H100과 같이 FP8 Tensor Core를 탑재한 GPU에서는 FP8 행렬 곱셈이 FP16 또는 BF16보다 두 배 높은 처리량을 제공합니다.

E4M3과 E5M2#

두 변형은 부호를 제외한 7개 비트를 서로 다르게 나눕니다:

• E4M3: 지수 비트 4개와 가수 비트 3개를 사용합니다. 무한대 표현을 포기하고 NaN 패턴 하나만 유지해 최대값 448을 구현하며, 순전파의 가중치와 활성화 값에 적합합니다.
• E5M2: IEEE 754 규약에 따라 특수 값을 표현하며 지수 비트 5개와 가수 비트 2개를 사용합니다. 더 거친 간격으로 최대 57,344까지 표현할 수 있어, 크기 범위가 더 넓은 그래디언트에 적합합니다.

두 형식 모두 작은 값은 0으로 처리하고 큰 값은 클리핑하므로, FP8 텐서에는 일반적으로 표현 가능한 범위에 값을 맞추는 스케일 계수가 포함됩니다. 그래디언트 크기의 값을 스케일링 없이 변환하거나 스케일링한 뒤 변환하면 그 이유를 확인할 수 있습니다:

import torch

torch.manual_seed(0)
grads = torch.randn(10_000) * 1e-4  # gradient-sized values, far below 1
e4m3, e5m2 = torch.float8_e4m3fn, torch.float8_e5m2
print(f"E4M3 max {torch.finfo(e4m3).max:g}, E5M2 max {torch.finfo(e5m2).max:g}")

# Per-tensor scaling maps the largest magnitude onto the E4M3 maximum before casting
scale = torch.finfo(e4m3).max / grads.abs().max()
results = {
    "E4M3 direct": grads.to(e4m3).float(),
    "E5M2 direct": grads.to(e5m2).float(),
    "E4M3 scaled": (grads * scale).to(e4m3).float() / scale,
}

for name, restored in results.items():
    zeros = (restored == 0).float().mean()
    error = ((restored - grads).abs() / grads.abs()).median()
    print(f"{name}: {zeros:.0%} rounded to zero, median relative error {error:.1%}")

E4M3으로 직접 변환하면 값의 100%이 0으로 반올림됩니다. 범위가 더 넓은 E5M2는 대부분의 값을 유지하며 중앙값 상대 오차는 6.4%, 손실된 값은 7%입니다. 먼저 스케일링하면 E4M3으로 모든 값을 유지하면서 중앙값 오차를 2.2%으로 줄일 수 있습니다. PyTorch는 AMD MI300 가속기에서 사용하는 변형인 float8_e4m3fnuz와 float8_e5m2fnuz도 제공합니다. 이 변형은 음의 0을 제거하고 지수 바이어스를 조정해 E4M3의 상한을 240으로 제한합니다. 따라서 FP8 모델을 공급업체 간에 자동으로 이식할 수 있는 것은 아닙니다.

스케일링 전략#

텐서 전체에 하나의 스케일을 적용하면 일부 이상치가 최댓값을 결정해 다른 값들을 0에 가깝게 밀어내는 문제가 발생합니다. 이는 트랜스포머 활성화 값에서 흔히 나타납니다. 스케일링 세분화 수준은 방식마다 다릅니다:

• 텐서별 지연 스케일링: NVIDIA의 Transformer Engine은 최근 학습 단계에서 관측된 최댓값을 기준으로 각 텐서의 스케일을 선택하므로, 데이터를 추가로 순회할 필요가 없습니다.
• 블록 스케일링: DeepSeek-V3는 활성화를 1 × 128 값의 타일별로, 가중치를 128 × 128 블록별로 스케일링했습니다. 팀은 6,710억 파라미터의 초대형 모델에서 FP8 학습을 검증한 첫 사례라고 보고했습니다.
• MXFP8: Open Compute Project의 마이크로스케일링 형식은 32개 값마다 2의 거듭제곱 스케일 하나를 공유하며, NVIDIA Blackwell GPU는 이를 하드웨어에서 실행합니다.

행렬 곱셈은 결과를 더 높은 정밀도로 누적하고, 정규화, 소프트맥스, 옵티마이저의 마스터 가중치처럼 민감하거나 비용이 낮은 계층은 BF16 또는 FP32를 유지합니다. 따라서 FP8은 혼합 정밀도 구성의 한 부분입니다.

학습과 추론에서의 FP8#

학습에는 NVIDIA의 Transformer Engine과 TorchAO를 사용해 선형 계층을 FP8 버전으로 교체하면서 마스터 가중치는 더 높은 정밀도로 유지합니다. 추론에서는 서빙 엔진이 대규모 언어 모델의 모델 가중치와 KV 캐시를 FP8로 저장해 16비트 형식보다 메모리를 절반으로 줄이고 동시 요청을 더 많이 처리할 여유를 확보합니다. TensorRT는 FP8 Tensor Core를 탑재한 GPU용 FP8 엔진도 빌드합니다. 이 형식의 이점을 얻으려면 하드웨어 지원이 필요합니다. NVIDIA A100은 Tensor Core에서 FP16, BF16, INT8을 실행하지만 FP8 연산 장치는 없으며, Ada Lovelace, Hopper, Blackwell GPU와 AMD MI300 시리즈는 FP8을 지원합니다.

FP8은 인접 형식 사이에 위치합니다:

• FP16 또는 반정밀도: 비트 수가 두 배이며 가수 비트가 10개입니다. 텐서별 스케일링 없이도 대부분의 추론에 충분한 범위를 제공합니다.
• FP4: 비트 수를 다시 절반으로 줄이며, 정확도를 유지하려면 세분화된 블록 스케일링이 필요합니다.
• INT8: FP8의 지수 기반 간격 대신 균일한 간격의 값 256개를 사용하는 또 다른 8비트 형식입니다. 보정된 스케일이 필요하지만 대부분의 CPU와 NPU를 포함해 훨씬 더 많은 하드웨어에서 실행됩니다.

Ultralytics YOLO26은 INT8 방식으로 8비트 추론을 지원합니다. 내보내기 모드에서 quantize=8을 사용해 TensorRT와 OpenVINO 등의 형식으로 내보내면, data 데이터셋의 이미지로 스케일을 보정하는 사후 학습 모델 양자화가 실행됩니다. 반면 양자화 인식 학습을 통해 quantize=8로 파인튜닝된 모델은 학습 중에 얻은 범위를 사용해 TensorRT로 내보내므로 보정이 필요하지 않습니다.