FP8

FP8 또는 8비트 부동소수점(8-bit floating point)은 각 값을 8비트로 저장하는 저정밀도 수치 포맷입니다. AI 시스템은 호환되는 하드웨어에서 메모리 트래픽을 줄이고 행렬 곱셈, 컨볼루션 및 기타 고비용 연산을 가속화하기 위해 FP8을 사용합니다. FP16 또는 FP32에 비해 더 적은 수의 고유 값을 표현하므로, 성공적인 FP8 워크플로우는 빠른 저정밀도 연산과 스케일링 및 선택적 고정밀도 연산을 결합하여 모델 품질을 유지합니다.

Link to this sectionFP8이 숫자를 표현하는 방식#

부동소수점 값은 부호, 범위를 제어하는 지수, 그리고 세부 사항을 제어하는 가수(mantissa)를 포함합니다. FP8은 PyTorch floating-point data types에 문서화된 두 가지 포맷으로 흔히 나타납니다:

• E4M3: 1개의 부호 비트, 4개의 지수 비트, 3개의 가수 비트로 구성됩니다. 더 많은 수치적 세부 정보를 제공하지만 범위는 더 좁습니다.
• E5M2: 1개의 부호 비트, 5개의 지수 비트, 2개의 가수 비트로 구성됩니다. 더 넓은 범위를 다루지만 값 반올림을 더 공격적으로 수행합니다.

E4M3은 가중치와 활성화 함수에 적합한 경우가 많은 반면, E5M2는 값 범위가 넓은 그래디언트를 더 잘 수용할 수 있습니다. AMD low-precision floating-point documentation에 표시된 것처럼 정확한 변형은 플랫폼마다 다르므로, FP8 모델이 모든 가속기와 런타임 간에 자동으로 호환되지는 않습니다.

8비트는 텐서의 원래 전체 범위와 세부 정보를 표현할 수 없으므로, 프레임워크는 보통 변환 전에 값에 스케일링 팩터를 곱합니다. NVIDIA’s FP8 scaling primer는 이전에 관측된 최댓값으로부터 미래의 스케일을 유도하는 지연 스케일링(delayed scaling) 같은 전략을 설명합니다. 스케일링은 모든 연산이 고정밀도로 실행되도록 요구하지 않으면서도 오버플로우, 언더플로우, 포화(saturation)를 제한합니다.

Link to this sectionFP8 대 관련 포맷#

FP8은 일반적인 AI 데이터 타입 중에서 중간 위치를 차지합니다:

• FP16 or half precision: 두 배 많은 비트를 사용하며, 더 높은 수치적 세부 정보와 일반적으로 더 단순한 학습을 제공합니다. FP8은 저장 공간과 대역폭을 더욱 줄일 수 있지만 더 신중한 스케일링이 필요합니다.
• BF16: FP16보다 소수점 이하 세부 정보는 적게 제공하면서 넓은 지수 범위를 유지합니다. FP8 학습에서 고정밀도 보완재로 자주 사용됩니다.
• INT8: 부동소수점 값 대신 정수를 표현합니다. INT8 model quantization은 일반적으로 스케일을 사용하여 실제 값을 고정 정수 수준으로 매핑하는 방식에 의존하며, 반면 FP8은 자연스럽고 불균일한 간격을 위해 지수를 유지합니다.
• FP4: 4비트만 사용하여 더 큰 압축률을 제공할 수 있지만, 극도로 제한된 범위와 세밀함 때문에 정확도 유지가 대개 더 어려워집니다.

FP8은 모든 텐서의 데이터 타입이기보다는 mixed-precision 워크플로우의 일부인 경우가 많습니다. 누적(accumulation), 정규화, 옵티마이저 상태 또는 민감한 레이어는 BF16, FP16 또는 FP32로 유지될 수 있습니다. 또한, 수치 정밀도는 양성 모델 예측이 얼마나 정확한지 측정하는 precision evaluation metric과는 다릅니다.

Link to this section실제 애플리케이션 사례#

두 가지 실용적인 애플리케이션을 통해 FP8이 중요한 이유를 알 수 있습니다:

1. 대형 모델 학습: Transformer 학습은 대규모 행렬 곱셈을 반복적으로 수행합니다. FP8 인식 프레임워크는 안정성이 요구되는 곳에서는 더 높은 정밀도를 유지하면서 적격한 가중치와 활성화 함수를 FP8로 캐스팅할 수 있습니다. 이는 대역폭 요구 사항을 낮추고 학습 처리량을 증가시킬 수 있습니다. TorchAO quantized-training workflow에는 최적의 속도와 이상치(outlier)에 대한 더 나은 처리를 절충하는 텐서별 및 행별 스케일링 선택 사항이 포함되어 있습니다.

2. 고성능 비전 추론: 데이터 센터는 수백 개의 소매, 트래픽 또는 제조 비디오 스트림에서 객체 감지를 실행할 수 있습니다. FP8 지원 커널은 적격한 모델 레이어가 사용하는 시간과 메모리를 줄여 inference latency를 잠재적으로 낮추고 동시 스트림 용량을 늘릴 수 있습니다. TensorRT quantized-types guide에서는 명시적 양자화 및 역양자화 연산이 FP8 실행을 설명하는 방법을 설명합니다.

Link to this section수치적 위험 및 하드웨어 지원#

스케일링이 부적절하면 큰 값은 포화되고 작은 값은 0으로 반올림될 수 있습니다. 하나의 스케일이 전체 텐서를 다룰 때 이상치는 특히 문제가 됩니다. 이러한 영향은 신뢰도 점수를 이동시키거나, 학습을 불안정하게 만들거나, 감지 정확도를 떨어뜨릴 수 있으므로 개발자는 변환된 모델을 더 높은 정밀도의 기준선과 비교하여 검증해야 합니다.

네이티브 하드웨어 지원도 마찬가지로 중요합니다. NVIDIA Hopper architecture는 FP8 텐서 코어 가속을 도입한 반면, 구형인 NVIDIA A100 GPU는 FP16, BF16, INT8은 지원하지만 네이티브 FP8 연산은 지원하지 않습니다. 따라서 배포 정밀도를 선택하기 전에 TensorRT hardware support matrix를 확인해야 합니다.

Link to this section실무에서의 FP8 작업#

이 간단한 PyTorch 예제는 E4M3 변환과 FP8 값이 FP32로 복원될 때 발생하는 반올림 오차를 보여줍니다:

import torch

values = torch.tensor([0.1, 1.0, 3.14, 100.0], dtype=torch.float32)

# Convert to E4M3 FP8, then restore the values for comparison.
fp8_values = values.to(torch.float8_e4m3fn)
restored = fp8_values.to(torch.float32)
absolute_error = (restored - values).abs()

print(torch.stack((values, restored, absolute_error), dim=1))

The documented Ultralytics TensorRT export workflow provides FP16 and calibrated INT8 options for Ultralytics YOLO rather than a one-argument FP8 export. FP8 deployment therefore requires a compatible downstream conversion toolchain. Whatever precision is selected, use Ultralytics benchmark mode on the target GPU to compare latency, throughput, memory use, and task accuracy before production deployment.