FP8

FP8 oder 8-Bit-Gleitkomma ist ein numerisches Format mit niedriger Präzision, bei dem jeder Wert in acht Bits gespeichert wird. KI-Systeme verwenden FP8, um den Speicherverkehr zu reduzieren und Matrixmultiplikationen, Faltungen sowie andere auf kompatibler Hardware aufwendige Operationen zu beschleunigen. Im Vergleich zu FP16 oder FP32 stellt das Format weniger unterschiedliche Werte dar. Daher kombinieren erfolgreiche FP8-Workflows schnelle Berechnungen mit niedriger Präzision mit Skalierung und gezielten Operationen mit höherer Präzision, um die Modellqualität zu erhalten.

So stellt FP8 Zahlen dar#

Ein Gleitkommawert enthält ein Vorzeichen, einen Exponenten, der den Wertebereich steuert, und eine Mantisse, die den Detailgrad bestimmt. FP8 kommt häufig in zwei Formaten vor, die in den PyTorch-Gleitkommadatentypen dokumentiert sind:

• E4M3: Ein Vorzeichenbit, vier Exponentenbits und drei Mantissenbits. Dieses Format bietet mehr numerische Details, aber einen engeren Wertebereich.
• E5M2: Ein Vorzeichenbit, fünf Exponentenbits und zwei Mantissenbits. Dieses Format deckt einen größeren Wertebereich ab, rundet Werte jedoch stärker.

E4M3 eignet sich häufig für Gewichte und Aktivierungen, während E5M2 Gradienten mit großen Wertebereichen besser verarbeiten kann. Die genauen Varianten unterscheiden sich je nach Plattform, wie in der Dokumentation von AMD zu Gleitkommaformaten mit niedriger Präzision dargestellt. Daher ist ein FP8-Modell nicht automatisch zwischen jedem Beschleuniger und jeder Laufzeitumgebung portierbar.

Da acht Bits nicht den vollständigen ursprünglichen Wertebereich und Detailgrad eines Tensors darstellen können, multiplizieren Frameworks Werte vor der Konvertierung in der Regel mit einem Skalierungsfaktor. Der Leitfaden zur FP8-Skalierung von NVIDIA beschreibt Strategien wie die verzögerte Skalierung, bei der zukünftige Skalierungsfaktoren aus zuvor beobachteten Maximalwerten abgeleitet werden. Die Skalierung begrenzt Überläufe, Unterläufe und Sättigung, ohne dass jede Operation mit höherer Präzision ausgeführt werden muss.

FP8 im Vergleich zu verwandten Formaten#

FP8 nimmt unter den gängigen Datentypen für KI eine mittlere Position ein:

• FP16 oder halbe Präzision: Verwendet doppelt so viele Bits und bietet dadurch mehr numerische Details sowie in der Regel ein einfacheres Training. FP8 kann Speicherbedarf und Bandbreite weiter reduzieren, erfordert jedoch eine sorgfältigere Skalierung.
• BF16: Behält einen großen Exponentenbereich bei und bietet dabei weniger Nachkommastellengenauigkeit als FP16. Im FP8-Training wird es häufig als Begleitformat mit höherer Präzision verwendet.
• INT8: Stellt Ganzzahlen statt Gleitkommawerten dar. Die Modellquantisierung mit INT8 verwendet normalerweise Skalierungsfaktoren, um reelle Werte festen Ganzzahlebenen zuzuordnen, während FP8 einen Exponenten für eine von Natur aus nicht gleichmäßige Abstufung beibehält.
• FP4: Verwendet nur vier Bits und kann eine stärkere Komprimierung ermöglichen. Der äußerst begrenzte Wertebereich und die geringe Granularität erschweren jedoch in der Regel den Erhalt der Genauigkeit.

FP8 ist häufig Bestandteil eines Workflows mit gemischter Präzision, statt als Datentyp für jeden Tensor zu dienen. Akkumulation, Normalisierung, Optimiererzustände oder empfindliche Schichten können weiterhin BF16, FP16 oder FP32 verwenden. Außerdem unterscheidet sich die numerische Präzision von der Präzisionsbewertungsmetrik, die misst, wie viele positiven Modellvorhersagen korrekt sind.

Anwendungen in der Praxis#

Zwei praktische Anwendungen verdeutlichen, warum FP8 wichtig ist:

1. Training großer Modelle: Beim Training von Transformern werden wiederholt große Matrixmultiplikationen ausgeführt. Ein FP8-fähiges Framework kann geeignete Gewichte und Aktivierungen in FP8 umwandeln und dort eine höhere Präzision beibehalten, wo sie für die Stabilität erforderlich ist. Dadurch sinkt der Bandbreitenbedarf und der Trainingsdurchsatz kann steigen. Der TorchAO-Workflow für quantisiertes Training umfasst tensorweise und zeilenweise Skalierungsoptionen, mit denen sich maximale Geschwindigkeit gegen eine bessere Behandlung von Ausreißern abwägen lässt.

2. Bildverarbeitung mit hohem Durchsatz bei der Inferenz: Ein Rechenzentrum kann Objekterkennung über Hunderte von Video streams aus dem Einzelhandel, Verkehr oder der Fertigung ausführen. FP8-fähige Kernel können Zeit- und Speicherbedarf geeigneter Modellschichten reduzieren, wodurch sich möglicherweise die Inferenzlatenz verringert und die Kapazität für gleichzeitig verarbeitete Streams erhöht. Der Leitfaden zu quantisierten Datentypen in TensorRT erläutert, wie explizite Quantisierungs- und Dequantisierungsoperationen die FP8-Ausführung beschreiben.

Numerische Risiken und Hardwareunterstützung#

Eine schlechte Skalierung kann dazu führen, dass große Werte gesättigt werden und kleine Werte auf null gerundet werden. Ausreißer sind besonders problematisch, wenn eine einzige Skalierung für einen gesamten Tensor gilt. Diese Effekte können Konfidenzwerte verschieben, das Training destabilisieren oder die Erkennungsgenauigkeit verringern. Daher sollten Entwickler das konvertierte Modell mit seiner Referenz mit höherer Präzision überprüfen.

Die native Hardwareunterstützung ist ebenso wichtig. Die NVIDIA-Hopper-Architektur führte eine FP8-Beschleunigung durch Tensor Cores ein, während die ältere NVIDIA-A100-GPU FP16, BF16 und INT8, jedoch keine native FP8-Berechnung unterstützt. Daher sollte vor der Auswahl einer Bereitstellungspräzision die TensorRT-Matrix zur Hardwareunterstützung geprüft werden.

FP8 in der Praxis verwenden#

Dieses kleine PyTorch-Beispiel veranschaulicht die E4M3-Konvertierung und den Rundungsfehler, der entsteht, wenn FP8-Werte wieder in FP32 umgewandelt werden:

import torch

values = torch.tensor([0.1, 1.0, 3.14, 100.0], dtype=torch.float32)

# Convert to E4M3 FP8, then restore the values for comparison.
fp8_values = values.to(torch.float8_e4m3fn)
restored = fp8_values.to(torch.float32)
absolute_error = (restored - values).abs()

print(torch.stack((values, restored, absolute_error), dim=1))

Der dokumentierte Ultralytics-TensorRT-Export-Workflow bietet für Ultralytics YOLO Optionen für FP16 und kalibriertes INT8, jedoch keinen FP8-Export mit einem einzigen Argument. Für die FP8-Bereitstellung ist daher eine kompatible nachgelagerte Konvertierungstoolchain erforderlich. Unabhängig von der gewählten Präzision solltest du den Benchmark-Modus von Ultralytics auf der Ziel-GPU verwenden, um Latenz, Durchsatz, Speicherbedarf und Aufgabengenauigkeit vor der Bereitstellung in der Produktion zu vergleichen.