Halbpräzision

Was ist Halb-Präzision?

Gleitkommazahlen werden verwendet, um reelle Zahlen in Computern darzustellen, indem sie mit einer festen Anzahl von Bits approximiert werden. Der Standard IEEE 754 definiert gängige Formate, darunter FP16 und FP32. Eine FP16-Zahl verwendet 1 Bit für das Vorzeichen, 5 Bits für den Exponenten (zur Bestimmung des Bereichs) und 10 Bits für den Signifikanten oder die Mantisse (zur Bestimmung der Genauigkeit). Im Vergleich dazu verwendet FP32 1 Bit für das Vorzeichen, 8 Bits für den Exponenten und 23 Bits für den Signifikanten. Diese Reduzierung der Bits bedeutet, dass FP16 einen deutlich kleineren Zahlenbereich und eine geringere Genauigkeit als FP32 hat. Einen grundlegenden Überblick über die Funktionsweise dieser Formate findest du unter Grundlagen der Fließkommaarithmetik.

Vorteile der Halbpräzision

Die Verwendung von FP16 bietet mehrere Vorteile für Deep Learning Workflows:

• Geringerer Speicherbedarf: Modellgewichte, Aktivierungen und Gradienten, die in FP16 gespeichert sind, benötigen nur die Hälfte des Speichers im Vergleich zu FP32. Dies ermöglicht größere Modelle, größere Stapelgrößen oder den Einsatz auf Geräten mit begrenztem Speicher.
• Schnellere Berechnungen: Moderne Hardware, wie NVIDIA GPUs mit Tensor Cores und spezialisierte Prozessoren wie Google TPUs, können FP16-Operationen viel schneller ausführen als FP32-Operationen.
• Verbesserter Durchsatz und geringere Latenz: Die Kombination aus verringerten Anforderungen an die Speicherbandbreite und schnelleren Berechnungen führt zu einem höheren Durchsatz beim Training und einer geringeren Latenzzeit bei den Schlussfolgerungen, was Echtzeit-Schlussfolgerungen für anspruchsvolle Anwendungen ermöglicht.

Mögliche Nachteile

Auch wenn die ausschließliche Verwendung von FP16 von Vorteil ist, kann sie manchmal zu Problemen führen:

• Reduzierter Zahlenbereich: Der kleinere Exponentenbereich macht FP16-Zahlen anfälliger für Überlauf (zu groß) oder Unterlauf (zu klein, oft Null).
• Geringere Genauigkeit: Die geringere Anzahl von Signifikantenbits bedeutet eine geringere Präzision, die sich manchmal auf die endgültige Genauigkeit empfindlicher Modelle auswirken kann, wenn sie nicht sorgfältig gehandhabt wird.
• Probleme mit dem Gradienten: Während des Trainings können kleine Gradientenwerte im FP16 auf Null abfallen, was das Lernen behindert. Dies kann Probleme wie verschwindende Gradienten verschlimmern.

Halbpräzision und verwandte Konzepte

Es ist wichtig, das FP16 von anderen numerischen Formaten und Techniken zu unterscheiden:

• Single-Precision (FP32): Das Standardformat in vielen Frameworks für maschinelles Lernen (ML) wie PyTorch und TensorFlow. Es bietet für die meisten Aufgaben eine gute Balance zwischen Reichweite und Präzision, ist aber ressourcenintensiver als FP16.
• Double-Precision (FP64): Bietet eine sehr hohe Genauigkeit, benötigt aber doppelt so viel Speicher und Rechenressourcen wie FP32. Wird vor allem im wissenschaftlichen Rechnen verwendet, selten beim Deep Learning.
• Gemischte Präzision: Dies ist die häufigste Art und Weise, wie FP16 beim Deep Learning eingesetzt wird. Dabei werden während des Trainings oder der Inferenz strategisch sowohl FP16 als auch FP32 verwendet. Normalerweise werden rechenintensive Operationen wie Faltungen und Matrixmultiplikationen aus Geschwindigkeitsgründen in FP16 durchgeführt, während kritische Operationen wie Gewichtungsaktualisierungen oder bestimmte Reduktionen in FP32 gehalten werden, um die numerische Stabilität und Genauigkeit zu erhalten. Techniken wie die Verlustskalierung helfen dabei, Unterlaufprobleme zu vermeiden. Siehe das Originalpapier zum Mixed-Precision Training oder die Leitfäden von PyTorch AMP und TensorFlow Mixed Precision. Ultralytics nutzen oft gemischte Präzision; siehe Tipps für das Modelltraining.
• BFloat16 (BF16): Ein weiteres 16-Bit-Format, das hauptsächlich von Google entwickelt wurde. Es verwendet 8 Bits für den Exponenten (wie FP32, was einen großen Bereich ermöglicht), aber nur 7 Bits für den Signifikanten (geringere Genauigkeit als FP16). Es ist besonders nützlich für das Training großer Sprachmodelle (LLMs). Erfahre mehr über BFloat16.
• Modellquantisierung: Techniken, die die Modellgenauigkeit noch weiter reduzieren, oft auf 8-Bit-Ganzzahlen (INT8) oder weniger. Dies bietet maximale Effizienz für den Einsatz auf Edge Devices, erfordert aber normalerweise eine sorgfältige Kalibrierung oder Quantization-Aware Training (QAT), um die Genauigkeit zu erhalten. Siehe Einführung in die Quantisierung auf PyTorch.

Anwendungen und Beispiele

Halbpräzision, vor allem durch Mischpräzisionstechniken, ist weit verbreitet:

1. Beschleunigung der Modellschulung: Das Training großer Deep-Learning-Modelle, z. B. für die Bildklassifizierung oder die Verarbeitung natürlicher Sprache (NLP), kann mit gemischter Präzision erheblich beschleunigt werden, was die Trainingszeit und -kosten reduziert. Plattformen wie Ultralytics HUB machen sich diese Optimierungen oft zunutze.
2. Optimierung der Inferenz bei der Objekterkennung: Modelle wie Ultralytics YOLO11 können (mit den in der Dokumentation zum Exportmodus beschriebenen Tools) in Formate wie ONNX oder TensorRT mit FP16-Präzision exportiert werden, um die Inferenz zu beschleunigen. Dies ist entscheidend für Anwendungen, die Echtzeitleistung benötigen, wie z. B. autonome Fahrzeuge oder Live-Videoüberwachungssysteme.
3. Einsatz auf Geräten mit eingeschränkten Ressourcen: Der geringere Speicherbedarf und die geringeren Rechenkosten von FP16-Modellen machen sie für den Einsatz auf Edge-Computing-Plattformen wie NVIDIA Jetson oder mobilen Geräten mit Frameworks wie TensorFlow Lite oder Core ML geeignet.
4. Training großer Sprachmodelle (LLMs): Die enorme Größe von Modellen wie GPT-3 und neueren Architekturen erfordert die Verwendung von 16-Bit-Formaten (FP16 oder BF16), damit die Modelle in den Speicher passen und das Training innerhalb eines angemessenen Zeitrahmens abgeschlossen werden kann.

Zusammenfassend lässt sich sagen, dass Half-Precision (FP16) ein wichtiges Werkzeug in der Deep-Learning-Optimierung ist, das schnellere Berechnungen und einen geringeren Speicherbedarf ermöglicht. Zwar gibt es Einschränkungen in Bezug auf den Bereich und die Genauigkeit, aber diese werden oft durch Techniken mit gemischter Genauigkeit ausgeglichen, was sie für das Training großer Modelle und den Einsatz effizienter KI-Anwendungen unverzichtbar macht.