FP4

FP4 ist eine Familie von 4-Bit-Gleitkommaformaten, die zur Komprimierung und Beschleunigung von KI-Modellen durch Modellquantisierung verwendet werden. Jeder Wert wird typischerweise mit einem Vorzeichenbit, zwei Exponentenbits und einem Mantissenbit dargestellt, was als E2M1 bezeichnet wird. Im Vergleich zu FP16 kann FP4 den Speicherverkehr und Speicherbedarf erheblich reduzieren, sodass unterstützte GPUs große Modelle schneller verarbeiten können. Das NVFP4-Gleitkommaformat mit niedriger Präzision von NVIDIA ist eine bedeutende Implementierung, die für Hardware der Blackwell-Generation entwickelt wurde. (developer.nvidia.com)

Funktionsweise von FP4#

Mit nur 16 möglichen Bitmustern kann einfaches FP4 den großen Wertebereich in neuronalen Netzen nicht genau darstellen. Moderne Implementierungen teilen Tensoren daher in kleine Blöcke auf und speichern für jeden Block eine gemeinsame Skalierung. Das NVFP4-Quantisierungsschema von NVIDIA verwendet beispielsweise Blöcke mit 16 E2M1-Werten, während die offene OCP-Spezifikation für Microscaling-Formate MXFP4 mit Metadaten für die Mikroskalierung definiert.

Während der Berechnung quantisiert eine Inferenz-Engine Werte mit höherer Präzision, führt unterstützte Matrixoperationen in FP4 aus und gibt die Ergebnisse bei Bedarf mit höherer Präzision zurück. Die aktuelle TorchAO-Unterstützung für NVFP4-Inferenz verwendet eine dynamische Quantisierung der Aktivierungen sowie eine doppelte Skalierung für Gewichte und Aktivierungen. (docs.nvidia.com)

FP4 im Vergleich zu verwandten Formaten#

• FP16 oder halbe Präzision: Bietet einen deutlich größeren numerischen Wertebereich und lässt sich im Allgemeinen einfacher einsetzen, verwendet jedoch viermal so viele Bits pro Wert.
• FP8: Bietet in der Regel eine höhere Genauigkeit und eine bessere Trainingsstabilität als FP4, benötigt aber ungefähr doppelt so viel Speicher.
• BF16: Wird häufig für das Training verwendet, da sein großer Exponentenbereich das Überlaufrisiko reduziert. Die Studie FP4 All the Way aus dem Jahr 2025 hat gezeigt, dass sorgfältig skaliertes FP4-Training die Leistung von BF16 erreichen kann.
• INT4: Verwendet Ganzzahlstufen anstelle von Gleitkommaexponenten. FP4 kann Werte verschiedener Größenordnungen natürlicher darstellen, während sich INT4 gut für die Komprimierung ausschließlich der Gewichte eignen kann.
• NVFP4 im Vergleich zu MXFP4: NVFP4 verwendet kleinere Blöcke und Skalierungsfaktoren mit höherer Präzision, was die Genauigkeit bei moderatem Metadatenaufwand typischerweise verbessert.

FP4 kann sich auch auf einen nicht verwandten AMD-FP4-Prozessorsockel beziehen. In der KI bezeichnet FP4 die Gleitkommaarithmetik mit vier Bits und nicht das ältere CPU-Gehäuse für Laptops.

Anwendungen in der Praxis#

1. Generative Bildinferenz: NVIDIA demonstrierte die FP4-Bilderzeugung auf GPUs der RTX-50-Serie, wodurch der Speicherbedarf reduziert und Diffusionsworkloads für generative KI beschleunigt wurden.

2. Training und Bereitstellung großer Modelle: Blackwell-Systeme haben NVFP4 beim MLPerf-Training eingesetzt, um den Durchsatz großer Sprachmodelle zu steigern. FP4 kann in ähnlicher Weise zukünftigen, speicherbegrenzten Computer-Vision-Systemen zugutekommen, die Echtzeitinferenz erfordern. (developer.nvidia.com)

FP4 effektiv einsetzen#

Im Juli 2026 erfordern hardwarebeschleunigte FP4-Matrixoperationen NVIDIA Blackwell oder neuere GPUs; der H100 basiert auf Hopper und bietet keine native FP4-Beschleunigung. Du solltest die Kompatibilität anhand der TensorRT-Hardwareunterstützungsmatrix überprüfen, die Genauigkeit nach der Konvertierung validieren und bei einer übermäßigen Verschlechterung durch die Quantisierung nach dem Training ein quantisierungsbewusstes Training mit dem TorchAO-QAT-Workflow in Betracht ziehen. (docs.nvidia.com)

Ultralytics bietet derzeit den produktionsreifen FP16- und INT8-Export für YOLO26. Dieser vergleichbare Workflow erstellt eine optimierte TensorRT-Engine:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
engine = model.export(format="engine", quantize=16)
results = YOLO(engine).predict("https://ultralytics.com/images/bus.jpg")

Die TensorRT-Integration von Ultralytics erläutert die unterstützten Präzisionsoptionen, während der YOLO-Benchmarkmodus beim Vergleich von Genauigkeit und Latenz hilft. Befolge für die experimentelle Bereitstellung mit FP4 die Best Practices für Präzision mit TensorRT-RTX sowie formatspezifische Verfahren wie Micro-Rotated GPTQ, da FP4 nicht automatisch genauer oder schneller ist als ein gut optimierter INT4- oder FP8-Workflow.