FP4

FP4 ist ein 4-Bit-Gleitkommazahlenformat zum Speichern und Berechnen der Gewichte und Aktivierungen neuronaler Netze bei der Modellquantisierung. KI-Hardware und -Software verwenden das E2M1-Layout: ein Vorzeichenbit, zwei Exponentenbits und ein Mantissenbit. Damit lassen sich nur 0, ±0,5, ±1, ±1,5, ±2, ±3, ±4 und ±6 darstellen. Jeder Wert benötigt halb so viel Speicher wie FP8 und ein Viertel so viel wie FP16 (halbe Genauigkeit). Das ist vor allem für große Sprachmodelle und andere Modelle der generativen KI wichtig, deren Inferenzlatenz vor allem davon abhängt, wie lange das Laden der Gewichte aus dem Speicher dauert. Native FP4-Matrixberechnungen kamen mit den GPUs Blackwell von NVIDIA und der Instinct-MI350-Serie von AMD auf. FP4 wird sowohl für die Inferenz als auch zunehmend für das Training verwendet.

So funktioniert FP4#

Fünfzehn verschiedene Werte können den Wertebereich realer Gewichte und Aktivierungen nicht abdecken. Deshalb unterteilt jedes praktische FP4-Format einen Tensor in kleine Blöcke und speichert eine gemeinsame Skalierung pro Block. Diese wird so gewählt, dass der größte Betrag im Block nahe dem E2M1-Maximum von 6 liegt. Die beiden wichtigsten Formate unterscheiden sich in Blockgröße und Genauigkeit der Skalierung:

• MXFP4: MXFP4 ist in der Microscaling-(MX-)Spezifikation des Open Compute Project definiert und fasst 32 Werte unter einer 8-Bit-Potenz-von-zwei-Skalierung (E8M0) zusammen. Als offene Spezifikation wird es von mehreren Anbietern unterstützt, darunter mit der MI350-Serie von AMD und den Blackwell-GPUs von NVIDIA.
• NVFP4: Das Format von NVIDIA fasst 16 Werte unter einer FP8-Skalierung (E4M3) zusammen und ergänzt eine zweite FP32-Skalierung pro Tensor. Kleinere Blöcke und feinere Skalierungen verringern den Quantisierungsfehler. NVIDIA berichtete bei Benchmarks mit DeepSeek-R1-0528 von höchstens 1 % Genauigkeitsverlust gegenüber FP8.

Der folgende Codeausschnitt rundet einen Tensor mit einigen Ausreißern auf E2M1-Werte. Dabei wird zunächst eine Skalierung für den gesamten Tensor verwendet, dann eine Skalierung pro 32 beziehungsweise 16 Werte – die Blockgrößen von MXFP4 und NVFP4:

import torch

# The eight non-negative values FP4 E2M1 can represent; the sign bit mirrors them
grid = torch.tensor([0.0, 0.5, 1.0, 1.5, 2.0, 3.0, 4.0, 6.0])

torch.manual_seed(0)
x = torch.randn(4096)
x[::512] *= 20  # a few large outliers, as real weight and activation tensors have

# One shared scale for the whole tensor, then MXFP4-sized and NVFP4-sized blocks
for block in [4096, 32, 16]:
    blocks = x.reshape(-1, block)
    scale = blocks.abs().amax(dim=1, keepdim=True) / 6.0  # map each block's largest value to 6
    nearest = ((blocks.abs() / scale).unsqueeze(-1) - grid).abs().argmin(dim=-1)
    dequantized = grid[nearest] * blocks.sign() * scale
    error = (dequantized.flatten() - x).abs().mean()
    print(f"Block size {block:>4}: mean absolute error {error:.4f}")

Bei einer einzigen Skalierung für den gesamten Tensor sind die Ausreißer so groß, dass die meisten normalen Werte auf null gerundet werden; der mittlere absolute Fehler beträgt 0,7238. Bei Blöcken mit 32 oder 16 Werten bleibt jeder Ausreißer auf einen einzelnen Block beschränkt. Dadurch behalten alle anderen Blöcke eine feine Skalierung, und der Fehler sinkt auf 0,0901 beziehungsweise 0,0747.

FP4-Inferenz und -Training#

Bei der Inferenz quantisiert eine Inferenz-Engine wie TensorRT die Gewichte und häufig auch die Aktivierungen nach dem Training auf FP4, führt Matrixmultiplikationen in FP4 aus und akkumuliert die Ergebnisse mit höherer Genauigkeit. NVFP4- und MXFP4-Konfigurationen von TorchAO bringen denselben Ablauf auf unterstützte GPUs mit PyTorch. OpenAI veröffentlichte gpt-oss-120b mit Gewichten seines Expertenmischungsmodells, die nach dem Vortraining in MXFP4 quantisiert wurden. Dadurch kann das Modell mit 117 Milliarden Parametern auf einer einzelnen 80-GB-GPU laufen.

Training in FP4 erweitert das Training mit gemischter Genauigkeit auf 4 Bit und ist schwieriger als Inferenz, da sich Wertebereiche von Gradienten und Aktivierungen während des Trainings verändern. In der Vortrainingsstudie zu NVFP4 von NVIDIA wurde ein Modell mit 12 Milliarden Parametern auf 10 Billionen Tokens in NVFP4 trainiert. Der Trainingsverlust und die Genauigkeit bei nachgelagerten Aufgaben waren mit einer FP8-Baseline vergleichbar. Möglich wurde dies durch die Kombination zufälliger Hadamard-Transformationen zur Verteilung von Ausreißern, stochastischer Rundung für Gradienten und einiger Schichten mit höherer Genauigkeit.

FP4-Modelle bereitstellen#

Native FP4-Tensor-Cores erfordern NVIDIA-Blackwell-GPUs oder neuere Modelle, etwa B200 und GeForce RTX 50, beziehungsweise AMD Instinct MI350-Beschleuniger für MXFP4. Hopper-GPUs wie H100 beschleunigen FP8, aber nicht FP4. Die TensorRT-Supportmatrix listet die von den einzelnen GPUs unterstützten Genauigkeiten auf. Vor der Modellbereitstellung muss die Genauigkeit nach der Konvertierung überprüft werden, da empfindliche Schichten oder kleine Modelle an Leistung verlieren können. Wenn Quantisierung nach dem Training nicht ausreicht, lässt sich die Genauigkeit durch quantisierungsbewusstes Training wiederherstellen. Der TensorRT-Export von Ultralytics YOLO26 erstellt Engines mit FP16 über quantize=16 oder mit INT8 über quantize=8 – den von YOLO-Modellen angebotenen Optionen mit niedriger Genauigkeit.

FP4 im Vergleich zu verwandten Formaten#

• FP8: FP8 (E4M3 oder E5M2) bietet deutlich mehr unterschiedliche Werte und einen größeren Wertebereich. Da FP8-Training bei großen Modellen weit verbreitet ist, werden FP4-Ergebnisse üblicherweise mit FP8 verglichen.
• BFloat16: BF16 bleibt das Standardformat für das Training und den Betrieb großer Modelle mit voller Qualität und verwendet viermal so viele Bits wie FP4.
• INT4: INT4 verteilt seine 16 Stufen gleichmäßig, während FP4 mehr Stufen nahe null anordnet, wo sich die meisten Gewichte und Aktivierungen befinden. INT4 ist weiterhin eine gängige Methode zur ausschließlichen Komprimierung von Sprachmodellgewichten, etwa mit GPTQ und AWQ.
• AMD-Sockel FP4: FP4 ist außerdem die Bezeichnung für einen nicht verwandten AMD-Prozessorsockel für Laptops, der bei mobilen APUs der Carrizo-Generation wie dem FX-8800P verwendet wird.