Mixed Precision

Gemischte Präzision ist eine zentrale Technik der Modelloptimierung, mit der sich das Training von Deep-Learning-Modellen beschleunigen und gleichzeitig der Speicherverbrauch reduzieren lässt. Durch die gezielte Kombination verschiedener numerischer Formate – typischerweise 16-Bit- und 32-Bit-Gleitkommatypen – können Algorithmen des maschinellen Lernens Berechnungen schneller durchführen, ohne die endgültige Genauigkeit des Modells zu beeinträchtigen. Sie hat sich in der modernen KI-Entwicklung als Standard etabliert, insbesondere bei ressourcenintensiven Aufgaben wie dem Training der YOLO26-Architektur mit sehr großen Datensätzen.

Funktionsweise der gemischten Präzision#

In herkömmlichen Workflows für Deep Learning führen Modelle Berechnungen in der Regel mit dem Gleitkommaformat einfacher Genauigkeit (FP32) durch. Jede Zahl in FP32 benötigt 32 Bit Speicher. Dieses Format ist zwar sehr präzise, kann aber rechenintensiv sein und viel Speicher benötigen.

Gemischte Präzision führt die Verwendung von halber Genauigkeit (FP16) ein, die nur 16 Bit nutzt. Die ausschließliche Verwendung von FP16 kann jedoch aufgrund des kleineren Dynamikbereichs zu numerischer Instabilität führen. Um dieses Problem zu lösen, halten Verfahren für gemischte Präzision eine „Masterkopie“ der Modellgewichte in FP32 vor, um die Stabilität zu gewährleisten, während FP16 für aufwendige mathematische Operationen wie Faltungen und Matrixmultiplikationen verwendet wird.

Der Prozess umfasst im Allgemeinen drei wichtige Schritte:

1. Umwandlung: Die Eingaben und Aktivierungen des Modells werden in FP16 umgewandelt, um die Ausführung auf kompatibler Hardware wie den NVIDIA Tensor Cores zu beschleunigen.

2. Skalierung des Verlusts: Die Werte der Verlustfunktion werden verstärkt, um einen „Unterlauf“ zu verhindern, bei dem kleine Gradientenaktualisierungen in FP16 zu Nullen werden.

3. Akkumulation: Die arithmetischen Operationen werden in FP16 durchgeführt, die Ergebnisse jedoch in FP32 akkumuliert, um notwendige Informationen vor der Aktualisierung der Mastergewichte zu bewahren.

Vorteile beim KI-Training#

Die Verwendung gemischter Präzision bietet Entwicklern und Forschenden, die Rechenressourcen effizient einsetzen, erhebliche Vorteile:

• Höhere Trainingsgeschwindigkeit: Operationen in FP16 benötigen weniger Speicherbandbreite und werden von modernen GPUs schneller verarbeitet. Dadurch kann sich die für eine Epoche benötigte Zeit deutlich verkürzen.
• Geringerer Speicherverbrauch: Da FP16-Tensoren halb so viel Speicher wie FP32-Tensoren belegen, können Entwickler ihre Batchgröße im Wesentlichen verdoppeln. Größere Batchgrößen führen häufig zu stabileren Schätzungen der Gradienten und einer schnelleren Konvergenz.
• Energieeffizienz: Die geringere Rechenlast führt zu einem niedrigeren Energieverbrauch, was für groß angelegte Cloud-Trainings entscheidend ist.

Anwendungen in der Praxis#

Gemischte Präzision wird in verschiedenen Branchen eingesetzt, um komplexe Modelle und große Datensätze effizient zu verarbeiten.

Autonomes Fahren#

Bei der Entwicklung autonomer Fahrzeuge müssen Ingenieure Objekterkennungsmodelle mit Millionen hochauflösender Videobilder trainieren. Durch den Einsatz gemischter Präzision können sie hochmoderne Modelle wie YOLO26 effizient trainieren. Der geringere Speicherbedarf ermöglicht die Verarbeitung von Eingaben mit höherer Auflösung, was für die Erkennung kleiner Objekte wie Verkehrsschilder oder Fußgänger in größerer Entfernung entscheidend ist.

Medizinische Bildanalyse#

Medizinische Bildanalyse umfasst häufig 3D-Volumendaten aus MRT- oder CT-Aufnahmen, die extrem speicherintensiv sind. Das Training von Segmentierungsmodellen mit diesen Daten in vollständiger FP32-Präzision führt häufig zu Fehlern wegen „Speicher voll“ (OOM). Gemischte Präzision ermöglicht es Forschenden, diese umfangreichen Modelle im GPU-Speicher unterzubringen, und erleichtert so die Entwicklung von KI, die Ärztinnen und Ärzte bei der früheren Diagnose von Krankheiten unterstützen kann.

Implementierung gemischter Präzision mit Ultralytics#

Moderne Frameworks wie PyTorch übernehmen die Komplexität gemischter Präzision in der Regel automatisch über eine Funktion namens Automatische gemischte Präzision (AMP). Das Paket ultralytics aktiviert AMP während des Trainings standardmäßig, um eine optimale Leistung sicherzustellen.

Hier ist ein kompaktes Beispiel für den Start des Trainings mit Ultralytics YOLO26, bei dem gemischte Präzision standardmäßig aktiviert ist (steuerbar über das Argument amp):

from ultralytics import YOLO

# Load the latest YOLO26 model
model = YOLO("yolo26n.pt")

# Train the model on the COCO8 dataset
# amp=True is the default setting for mixed precision training
results = model.train(data="coco8.yaml", epochs=5, imgsz=640, amp=True)

Gemischte Präzision im Vergleich zu verwandten Konzepten#

Um Verwechslungen zu vermeiden, ist es hilfreich, gemischte Präzision von ähnlichen Begriffen im Glossar zu unterscheiden:

• Modellquantisierung: Während gemischte Präzision während des Trainings Gleitkommazahlen mit geringerer Genauigkeit (FP16) verwendet, werden bei der Quantisierung Gewichte typischerweise nach dem Training für die Bereitstellung in Ganzzahlen wie INT8 umgewandelt. Die Quantisierung konzentriert sich hauptsächlich auf die Inferenzlatenz auf Edge-Geräten, während gemischte Präzision auf Trainingsgeschwindigkeit und Stabilität abzielt.
• Halbe Genauigkeit: Dieser Begriff bezeichnet speziell das FP16-Datenformat selbst. Gemischte Präzision ist die Technik, FP16 und FP32 gemeinsam zu verwenden. Die ausschließliche Verwendung halber Genauigkeit ohne die „gemischte“ FP32-Masterkopie führt aufgrund numerischer Fehler häufig dazu, dass Modelle nicht konvergieren.

Fazit#

Gemischte Präzision hat die Art und Weise revolutioniert, wie neuronale Netze trainiert werden, und dient als entscheidende Grundlage für die umfangreichen Basismodelle und Bildverarbeitungssysteme, die wir heute sehen. Durch den Ausgleich zwischen dem Bedarf an mathematischer Präzision und den Einschränkungen bei Hardwaregeschwindigkeit und Speicher können Entwickler schneller iterieren und leistungsfähigere KI-Lösungen entwickeln.

Wer Datensätze verwalten und optimierte Modelle nahtlos trainieren möchte, findet in der Ultralytics Platform eine umfassende Umgebung, die diese modernen Optimierungstechniken automatisch nutzt.