FP4

FP4, AI modellerini model kuantizasyonu yoluyla sıkıştırmak ve hızlandırmak için kullanılan 4 bitlik kayan noktalı formatlar ailesidir. Genellikle her değeri E2M1 olarak adlandırılan bir işaret biti, iki üs biti ve bir mantis biti ile temsil eder. FP16 ile karşılaştırıldığında, FP4 bellek trafiğini ve depolama alanını büyük ölçüde azaltabilir, bu da desteklenen GPU'ların büyük modelleri daha hızlı işlemesine yardımcı olur. NVIDIA'nın NVFP4 düşük hassasiyetli formatı, Blackwell nesli donanımlar için tasarlanmış önde gelen bir uygulamadır. (developer.nvidia.com)

Link to this sectionFP4 Nasıl Çalışır#

Sadece 16 olası bit deseniyle, standart FP4 sinir ağlarında bulunan geniş değer aralığını doğru bir şekilde temsil edemez. Bu nedenle modern uygulamalar, tensörleri küçük bloklara böler ve her blok için ortak bir ölçek saklar. Örneğin, NVIDIA'nın NVFP4 kuantizasyon şeması, 16 adet E2M1 değerinden oluşan bloklar kullanırken, açık OCP Microscaling Formats spesifikasyonu, mikrolçeklendirme meta verileri ile MXFP4'ü tanımlar.

Hesaplama sırasında, bir inference engine daha yüksek hassasiyetli değerleri kuantize eder, desteklenen matris işlemlerini FP4'te gerçekleştirir ve gerektiğinde sonuçları daha yüksek hassasiyete geri döndürür. Mevcut TorchAO NVFP4 inference desteği, ağırlıklar ve aktivasyonlar için dinamik aktivasyon kuantizasyonu ve çift ölçeklendirme kullanır. (docs.nvidia.com)

Link to this sectionİlgili Formatlarla Karşılaştırmalı FP4#

• FP16 veya yarım hassasiyet: Çok daha geniş bir sayısal aralık sunar ve genellikle dağıtımı daha kolaydır, ancak değer başına dört kat daha fazla bit kullanır.
• FP8: Genellikle FP4'ten daha iyi doğruluk ve eğitim kararlılığı sağlarken, yaklaşık iki kat daha fazla depolama alanı gerektirir.
• BF16: Geniş üs aralığı taşma riskini azalttığı için genellikle eğitimde kullanılır. 2025 tarihli FP4 All the Way çalışması, dikkatlice ölçeklendirilmiş FP4 eğitiminin BF16 performansına yaklaşabileceğini göstermiştir.
• INT4: Kayan noktalı üsler yerine tamsayı seviyeleri kullanır. FP4 farklı büyüklükteki değerleri daha doğal bir şekilde temsil edebilirken, INT4 sadece ağırlık sıkıştırması için iyi çalışabilir.
• NVFP4 ile MXFP4 karşılaştırması: NVFP4 daha küçük bloklar ve daha yüksek hassasiyetli ölçekler kullanır, bu da genellikle düşük bir meta veri maliyetiyle doğruluğu artırır.

FP4 ayrıca alakasız olan AMD FP4 işlemci soketi için de kullanılabilir. Yapay zekada FP4, eski dizüstü bilgisayar CPU paketini değil, dört bitlik kayan noktalı aritmetiği ifade eder.

Link to this sectionGerçek Dünya Uygulamaları#

1. Üretken görüntü çıkarımı: NVIDIA, RTX 50 Serisi GPU'larda FP4 görüntü üretimi gösterimi yaparak, bellek kullanımını azalttı ve üretken yapay zeka alanında kullanılan difüzyon iş yüklerini hızlandırdı.

2. Large-model training and serving: Blackwell systems have used NVFP4 in MLPerf training to improve large language model throughput. FP4 can similarly benefit future memory-bound computer vision systems that require real-time inference. (developer.nvidia.com)

Link to this sectionFP4'ü Etkili Bir Şekilde Kullanma#

As of July 2026, hardware-accelerated FP4 matrix operations require NVIDIA Blackwell or newer GPUs; the H100 is Hopper-based and does not provide native FP4 acceleration. Developers should confirm compatibility through the TensorRT hardware support matrix, validate accuracy after conversion, and consider quantization-aware training using the TorchAO QAT workflow when post-training quantization causes excessive degradation. (docs.nvidia.com)

Ultralytics şu anda YOLO26 için üretime hazır FP16 ve INT8 dışa aktarım desteği sunmaktadır. Bu benzer iş akışı, optimize edilmiş bir TensorRT motoru oluşturur:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
engine = model.export(format="engine", quantize=16)
results = YOLO(engine).predict("https://ultralytics.com/images/bus.jpg")

Ultralytics TensorRT entegrasyonu desteklenen hassasiyet seçeneklerini açıklar, YOLO benchmark modu ise doğruluk ve gecikmeyi karşılaştırmana yardımcı olur. Deneysel FP4 dağıtımı için, FP4 otomatik olarak iyi optimize edilmiş bir INT4 veya FP8 iş akışından daha doğru veya hızlı olmadığından, TensorRT-RTX hassasiyet en iyi uygulamalarını ve Micro-Rotated GPTQ gibi formata özgü teknikleri izle.