Halbpräzision

Halbpräzision, auch bekannt als FP16, ist ein Fließkomma-Zahlenformat, das 16 Bits des Speichers verwendet, um eine Zahl darzustellen, im Gegensatz zu den gebräuchlicheren 32-Bit-Formaten mit einfacher Genauigkeit (FP32) oder 64-Bit-Formaten mit doppelter Genauigkeit (FP64). Im Zusammenhang mit Deep Learning werden durch die Verwendung von Halbpräzision der Speicherbedarf und die Berechnungsanforderungen eines Modells erheblich reduziert. Dieser Kompromiss geht auf Kosten eines geringeren numerischen Bereichs und einer geringeren Präzision. Moderne Techniken, insbesondere das Mixed-Precision-Training, haben FP16 jedoch zu einem Eckpfeiler des effizienten maschinellen Lernens (ML) gemacht, da es ein schnelleres Training und eine schnellere Inferenz mit minimalen Auswirkungen auf die Modellgenauigkeit ermöglicht.

So funktioniert Halbpräzision

Durch den Wechsel von FP32 zu FP16 wird der für die Speicherung von Modellgewichten und Aktivierungen erforderliche Speicher um die Hälfte reduziert. Dies ermöglicht größere Modelle, größere Stapelgrößen oder das Training auf GPUs mit weniger Speicher. Darüber hinaus sind moderne GPUs, z. B. mit NVIDIA Tensor Cores, speziell dafür ausgelegt, 16-Bit-Matrixoperationen mit viel höherer Geschwindigkeit als 32-Bit-Operationen durchzuführen.

Die größte Herausforderung bei FP16 ist der begrenzte numerische Bereich, der zu Problemen wie verschwindenden Gradienten beim Training führen kann. Um dem entgegenzuwirken, wird Halbpräzision fast immer mit einem gemischten Präzisionsansatz implementiert. Bei dieser Strategie werden die meisten Berechnungen aus Geschwindigkeitsgründen in FP16 durchgeführt, während für kritische Operationen, wie z. B. Gewichtungsaktualisierungen und bestimmte Verlustfunktionsberechnungen, strategisch FP32 verwendet wird, um die numerische Stabilität zu wahren. Deep-Learning-Frameworks wie PyTorch und TensorFlow bieten integrierte Unterstützung für automatisches Mixed-Precision-Training.

Anwendungen und Beispiele

Halbpräzision, vor allem durch gemischte Präzisionsverfahren, ist weit verbreitet:

1. Beschleunigung der Modellschulung: Die Schulung großer Deep-Learning-Modelle, z. B. für die Bildklassifizierung oder die Verarbeitung natürlicher Sprache (NLP), kann durch die Verwendung von gemischter Präzision erheblich beschleunigt werden, was die Schulungszeit und -kosten reduziert. Plattformen wie Ultralytics HUB nutzen diese Optimierungen häufig während der Cloud-Trainingseinheiten.
2. Optimierung der Inferenz von Objekterkennungen: Modelle wie Ultralytics YOLO11 können in Formate wie ONNX oder TensorRT mit FP16-Präzision exportiert werden, um eine schnellere Echtzeit-Inferenz zu ermöglichen. Dies ist entscheidend für Anwendungen, die einen hohen Durchsatz benötigen, wie z. B. ein Sicherheitssystem, das mehrere Videoeinspeisungen analysiert, oder die Qualitätskontrolle in einer Hochgeschwindigkeits-Produktionslinie.
3. Einsatz auf Geräten mit eingeschränkten Ressourcen: Aufgrund des geringeren Speicherbedarfs und der geringeren Rechenkosten von FP16-Modellen eignen sich diese für den Einsatz auf Edge-KI-Plattformen wie NVIDIA Jetson oder mobilen Geräten, die Frameworks wie TensorFlow Lite oder Core ML von Apple verwenden.
4. Training großer Sprachmodelle (LLMs): Die enorme Größe von Modellen wie GPT-3 und anderen Basismodellen macht die Verwendung von 16-Bit-Formaten erforderlich, damit die Modelle in den Speicher passen und das Training innerhalb eines angemessenen Zeitrahmens abgeschlossen werden kann.

Halbpräzision gegenüber anderen Formaten

• Bfloat16 (BF16): Bfloat16 ist ein von Google entwickeltes alternatives 16-Bit-Format, das im Vergleich zu FP16 mehr Bits für den Exponenten und weniger für die Mantisse vorsieht. Dadurch hat es den gleichen dynamischen Bereich wie FP32 und ist widerstandsfähiger gegen Unter- und Überlauf, allerdings auf Kosten einer geringeren Genauigkeit. Er wird in den TPUs von Google intensiv genutzt. Weitere Informationen dazu finden Sie im Google Cloud AI Blog.
• Modell-Quantisierung: Während es sich in beiden Fällen um Modelloptimierungsverfahren handelt, werden bei der Modellquantisierung in der Regel Fließkommagewichte (FP32 oder FP16) in niedrigere Ganzzahlformate umgewandelt, in der Regel 8-Bit-Ganzzahlen (INT8). Dies kann zu noch größeren Geschwindigkeitssteigerungen führen, insbesondere auf CPUs und bestimmten Beschleunigern, erfordert aber oft einen sorgfältigeren Kalibrierungsprozess, wie z. B. Quantization-Aware Training (QAT), um einen erheblichen Abfall der Modellleistung zu vermeiden.
• Einzelpräzision (FP32): Dies ist das Standardformat in den meisten Deep-Learning-Frameworks. Es bietet eine hohe Präzision und einen großen dynamischen Bereich, was es für das Training robust macht. Es ist jedoch langsamer und speicherintensiver als Half-Precision, wodurch es sich weniger gut für die Bereitstellung großer Modelle oder für Anwendungen eignet, die maximale Geschwindigkeit erfordern. Die Kompromisse zwischen diesen Formaten sind eine wichtige Überlegung, wie verschiedene Modellvergleiche zeigen.