FP4

FP4 ist eine Familie von 4-Bit-Gleitkommaformaten, die zur Komprimierung und Beschleunigung von KI-Modellen durch Modellquantisierung verwendet wird. Es stellt typischerweise jeden Wert mit einem Vorzeichenbit, zwei Exponentenbits und einem Mantissenbit dar, was als E2M1 bezeichnet wird. Im Vergleich zu FP16 kann FP4 den Speicherverkehr und -bedarf erheblich reduzieren, was unterstützte GPUs dabei unterstützt, große Modelle schneller zu verarbeiten. NVIDIAs NVFP4-Format mit niedriger Präzision ist eine prominente Implementierung, die für Hardware der Blackwell-Generation entwickelt wurde. (developer.nvidia.com)

Link to this sectionWie FP4 funktioniert#

Mit nur 16 möglichen Bitmustern kann reines FP4 den breiten Wertebereich in neuronalen Netzen nicht präzise darstellen. Moderne Implementierungen unterteilen Tensoren daher in kleine Blöcke und speichern für jeden Block einen gemeinsamen Skalierungsfaktor. NVIDIAs NVFP4-Quantisierungsschema verwendet beispielsweise Blöcke aus 16 E2M1-Werten, während die offene OCP Microscaling Formats Spezifikation MXFP4 mit Microscaling-Metadaten definiert.

Während der Berechnung quantisiert eine Inferenz-Engine Werte höherer Präzision, führt unterstützte Matrixoperationen in FP4 aus und gibt die Ergebnisse bei Bedarf in höherer Präzision zurück. Die aktuelle TorchAO NVFP4-Inferenzunterstützung verwendet dynamische Aktivierungsquantisierung und doppelte Skalierung für Gewichte und Aktivierungen. (docs.nvidia.com)

Link to this sectionFP4 im Vergleich mit verwandten Formaten#

• FP16 oder Halbpräzision: Bietet einen wesentlich größeren numerischen Bereich und ist im Allgemeinen einfacher bereitzustellen, verbraucht jedoch viermal so viele Bits pro Wert.
• FP8: Bietet in der Regel eine bessere Genauigkeit und Trainingsstabilität als FP4, benötigt aber etwa den doppelten Speicherplatz.
• BF16: Wird häufig für das Training verwendet, da sein großer Exponentenbereich das Überlaufrisiko reduziert. Die FP4 All the Way-Studie aus dem Jahr 2025 zeigte, dass sorgfältig skaliertes FP4-Training eine Leistung erreichen kann, die an BF16 heranreicht.
• INT4: Verwendet Ganzzahl-Stufen anstelle von Gleitkomma-Exponenten. FP4 kann Werte über verschiedene Größenordnungen hinweg natürlicher darstellen, während INT4 für die gewichtsspezifische Komprimierung gut funktionieren kann.
• NVFP4 gegenüber MXFP4: NVFP4 verwendet kleinere Blöcke und Skalierungen höherer Präzision, was die Genauigkeit bei moderaten Metadatenkosten meist verbessert.

FP4 kann sich auch auf einen nicht verwandten AMD FP4-Prozessorsockel beziehen. In der KI steht FP4 für Vier-Bit-Gleitkomma-Arithmetik, nicht für das ältere Laptop-CPU-Gehäuse.

Link to this sectionPraxisanwendungen#

1. Generative Bildinferenz: NVIDIA demonstrierte FP4-Bilderzeugung auf RTX 50-Serie-GPUs, was den Speicherverbrauch reduziert und Diffusions-Workloads beschleunigt, die in der generativen KI eingesetzt werden.

2. Training und Bereitstellung großer Modelle: Blackwell-Systeme haben NVFP4 in MLPerf-Training eingesetzt, um den Durchsatz großer Sprachmodelle zu verbessern. FP4 kann in ähnlicher Weise zukünftigen speichergebundenen Computer-Vision-Systemen zugutekommen, die Echtzeit-Inferenz erfordern. (developer.nvidia.com)

Link to this sectionEffektive Nutzung von FP4#

Stand Juli 2026 erfordern hardwarebeschleunigte FP4-Matrixoperationen NVIDIA Blackwell- oder neuere GPUs; die H100 basiert auf Hopper und bietet keine native FP4-Beschleunigung. Entwickler sollten die Kompatibilität über die TensorRT-Hardware-Supportmatrix bestätigen, die Genauigkeit nach der Konvertierung validieren und quantisierungsbewusstes Training unter Verwendung des TorchAO QAT-Workflows in Betracht ziehen, wenn die Quantisierung nach dem Training zu übermäßigem Leistungsabfall führt. (docs.nvidia.com)

Ultralytics bietet derzeit produktionsreife FP16- und INT8-Exporte für YOLO26 an. Dieser vergleichbare Workflow erstellt eine optimierte TensorRT-Engine:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
engine = model.export(format="engine", quantize=16)
results = YOLO(engine).predict("https://ultralytics.com/images/bus.jpg")

Die Ultralytics TensorRT-Integration erläutert unterstützte Präzisionsoptionen, während der YOLO-Benchmark-Modus beim Vergleich von Genauigkeit und Latenz hilft. Für experimentelle FP4-Bereitstellungen befolge die besten Praktiken für TensorRT-RTX-Präzision sowie formatspezifische Techniken wie Micro-Rotated GPTQ, da FP4 nicht automatisch präziser oder schneller ist als ein gut optimierter INT4- oder FP8-Workflow.