FP4
FP4量子化がAIモデルを圧縮し、メモリ使用量を削減して推論を高速化する方法を学べます。NVFP4、MXFP4、FP8、INT4、FP16の各フォーマットを比較します。
FP4は、モデル量子化によってAIモデルを圧縮し、高速化するために使用される4ビット浮動小数点形式のファミリーです。通常、各値を1つの符号ビット、2つの指数ビット、1つの仮数ビットで表し、E2M1と呼ばれます。FP16と比較すると、FP4はメモリトラフィックとストレージを大幅に削減できるため、対応するGPUで大規模モデルをより高速に処理できます。NVIDIAのNVFP4低精度形式は、Blackwell世代のハードウェア向けに設計された代表的な実装です。(developer.nvidia.com)
FP4の仕組み#
可能なビットパターンが16通りしかないため、標準的なFP4ではニューラルネットワークに見られる広い値の範囲を正確に表現できません。そのため、最新の実装ではテンソルを小さなブロックに分割し、各ブロックに共通のスケール値を格納します。例えば、NVIDIAのNVFP4量子化スキームは16個のE2M1値で構成されるブロックを使用し、オープンなOCP Microscaling Formats仕様はマイクロスケーリングメタデータを使用するMXFP4を定義しています。
計算時には、推論エンジンがより高精度の値を量子化し、対応する行列演算をFP4で実行して、必要に応じて結果をより高い精度で返します。現在のTorchAO NVFP4推論サポートでは、アクティベーションの動的量子化と、重みおよびアクティベーションに対する二重スケーリングが使用されます。(docs.nvidia.com)
FP4と関連形式の比較#
- FP16または半精度: 数値範囲がはるかに広く、一般的にデプロイしやすい一方で、値ごとに4倍のビット数を使用します。
- FP8: 通常、FP4よりも高い精度と優れたトレーニング安定性を提供しますが、ストレージ容量はおよそ2倍必要です。
- BF16: 大きな指数範囲によってオーバーフローのリスクを低減できるため、一般的にトレーニングで使用されます。2025年のFP4 All the Way研究では、適切にスケーリングしたFP4トレーニングによってBF16に近い性能を実現できることが示されました。
- INT4: 浮動小数点の指数ではなく、整数レベルを使用します。FP4は異なる大きさの値をより自然に表現できる一方、INT4は重みのみの圧縮で効果を発揮する場合があります。
- NVFP4とMXFP4の比較: NVFP4はより小さなブロックと高精度のスケール値を使用するため、メタデータのコストがわずかに増加するものの、通常は精度が向上します。
FP4は、無関係なAMD FP4プロセッサソケットを指す場合もあります。AI分野では、FP4は4ビット浮動小数点演算を意味し、旧式のノートPC向けCPUパッケージを意味するものではありません。
実世界での利用例#
-
生成画像推論: NVIDIAはRTX 50 Series GPUでのFP4画像生成を実証し、生成AIで使用される拡散ワークロードのメモリ使用量を削減し、高速化しました。
-
大規模モデルのトレーニングとサービング: Blackwellシステムでは、MLPerfトレーニングでNVFP4を使用して、大規模言語モデルのスループットを向上させています。FP4は、リアルタイム推論を必要とする、将来のメモリ帯域幅がボトルネックとなるコンピュータビジョンシステムにも同様のメリットをもたらす可能性があります。(developer.nvidia.com)
FP4を効果的に使用する#
2026年7月現在、ハードウェアアクセラレーションによるFP4行列演算にはNVIDIA Blackwell以降のGPUが必要です。H100はHopperベースであり、ネイティブのFP4アクセラレーションには対応していません。開発者は、TensorRTハードウェアサポートマトリックスで互換性を確認し、変換後の精度を検証する必要があります。また、ポストトレーニング量子化による劣化が大きすぎる場合は、TorchAO QATワークフローを使用した量子化認識トレーニングを検討してください。(docs.nvidia.com)
Ultralyticsは現在、YOLO26向けに、プロダクション対応のFP16およびINT8エクスポートを提供しています。この同様のワークフローによって、最適化されたTensorRTエンジンが作成されます。
from ultralytics import YOLO
model = YOLO("yolo26n.pt")
engine = model.export(format="engine", quantize=16)
results = YOLO(engine).predict("https://ultralytics.com/images/bus.jpg")Ultralytics TensorRT統合では、対応する精度オプションについて説明しており、YOLOベンチマークモードでは精度とレイテンシを比較できます。実験的なFP4デプロイでは、TensorRT-RTX精度に関するベストプラクティスと、Micro-Rotated GPTQなどの形式固有の手法に従ってください。FP4は、十分に最適化されたINT4またはFP8ワークフローよりも自動的に高精度または高速になるわけではないためです。
