Quantization-Aware Training (QAT)

Quantisierungsbewusstes Training (QAT) ist eine spezielle Technik, die während der Trainingsphase von Machine-Learning-Modellen eingesetzt wird, um sie auf Umgebungen mit geringerer numerischer Präzision vorzubereiten. In standardmäßigen Deep-Learning-Workflows arbeiten Modelle typischerweise mit hochpräzisen 32-Bit-Gleitkommazahlen (FP32). Diese Präzision bietet zwar eine hervorragende Genauigkeit, kann jedoch rechenintensiv sein und viel Speicher benötigen, insbesondere auf Edge-Geräten. QAT simuliert die Auswirkungen der Quantisierung – also die Reduzierung der Präzision auf Formate wie 8-Bit-Ganzzahlen (INT8) –, während das Modell noch trainiert wird. Indem diese Quantisierungsfehler während des Lernprozesses eingeführt werden, lernt das Modell, seine Gewichte anzupassen und die Genauigkeit effektiv wiederherzustellen, die bei einer Konvertierung nach dem Training möglicherweise verloren ginge.

Warum QAT für den Edge-Einsatz wichtig ist#

Die Bereitstellung von Computer-Vision-Modellen auf ressourcenbeschränkten Geräten erfordert häufig einen Ausgleich zwischen Geschwindigkeit und Leistung. Standardmäßige Quantisierungsmethoden, die als Quantisierung nach dem Training (PTQ) bezeichnet werden, reduzieren die Präzision erst, nachdem das Modell vollständig trainiert wurde. PTQ ist zwar schnell, kann jedoch die Genauigkeit empfindlicher Modelle beeinträchtigen, da die Gewichte des neuronalen Netzes erheblich verändert werden, ohne dass eine Anpassung möglich ist.

QAT löst dieses Problem, indem das Modell die Quantisierung gewissermaßen „üben“ kann. Während des Vorwärtsdurchlaufs im Training werden die Gewichte und Aktivierungen als Werte mit geringerer Präzision simuliert. Dadurch kann der Prozess des Gradientenabstiegs die Modellparameter so aktualisieren, dass der Verlust speziell für den quantisierten Zustand minimiert wird. Das Ergebnis ist ein robustes Modell, das auch beim Einsatz auf Hardware wie Mikrocontrollern oder mobilen Prozessoren eine hohe Genauigkeit beibehält.

Unterschiede zwischen QAT und der Quantisierung nach dem Training (PTQ)#

Es ist hilfreich, QAT von der Modellquantisierung, insbesondere der Quantisierung nach dem Training (PTQ), zu unterscheiden:

• Quantisierung nach dem Training (PTQ): Das Modell wird normal in FP32 trainiert. Nach Abschluss des Trainings werden die Gewichte in INT8 konvertiert. Dies ist schneller und erfordert kein erneutes Training, kann bei komplexen Architekturen jedoch zu einem größeren Genauigkeitsverlust führen.
• Quantisierungsbewusstes Training (QAT): Der Quantisierungsprozess wird während der Feinabstimmung simuliert. Das Modell passt seine internen Parameter an das durch die geringere Präzision eingeführte Rauschen an und erzielt dadurch typischerweise eine höhere Genauigkeit als PTQ.

Anwendungen in der Praxis#

QAT ist für Branchen unverzichtbar, in denen die Inferenz in Echtzeit auf Edge-Hardware entscheidend ist.

• Autonome Drohnen: Bei KI-Drohneneinsätzen sind die Akkulaufzeit und die Rechenleistung an Bord stark begrenzt. Drohnen mit durch QAT optimierten Modellen können Hindernisse erkennen oder Objekte mit hoher Präzision verfolgen, während sie INT8-Beschleuniger nutzen, und dadurch ihre Flugzeiten im Vergleich zu FP32-Modellen deutlich verlängern.
• Intelligente Einzelhandelskameras: Supermärkte nutzen Computer Vision im Einzelhandel, um den Warenbestand in Regalen zu überwachen oder Warteschlangen an Kassen zu verwalten. Diese Systeme laufen häufig auf Edge-Gateways mit geringem Energieverbrauch. QAT stellt sicher, dass die auf diesen Geräten ausgeführten Objekterkennungsmodelle die erforderliche Genauigkeit beibehalten, um ähnliche Produkte voneinander zu unterscheiden, ohne eine kostspielige Cloud-Anbindung zu benötigen.

Implementierung von QAT mit Ultralytics#

Die Ultralytics-Plattform und das YOLO-Ökosystem unterstützen den Export von Modellen in quantisierte Formate. Obwohl QAT ein komplexes Trainingsverfahren ist, erleichtern moderne Frameworks die Vorbereitung von Modellen für die quantisierte Inferenz.

Nachfolgend siehst du ein Beispiel dafür, wie du ein trainiertes YOLO26-Modell in ein quantisiertes INT8-TFLite-Format exportieren kannst, das die Prinzipien der Quantisierung für einen effizienten Einsatz am Edge nutzt.

from ultralytics import YOLO

# Load a trained YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to TFLite format with INT8 quantization
# This prepares the model for efficient execution on edge devices
model.export(format="tflite", int8=True)

Integration in Edge-Ökosysteme#

Mit Quantisierungstechniken optimierte Modelle sind für die Ausführung auf spezialisierten Inferenz-Engines konzipiert. Mit QAT trainierte Modelle werden häufig über ONNX Runtime für plattformübergreifende Kompatibilität oder über OpenVINO zur Optimierung auf Intel-Hardware bereitgestellt. Dadurch arbeitet das Modell unabhängig davon, ob es auf einem Raspberry Pi oder einem dedizierten Edge TPU eingesetzt wird, mit der höchstmöglichen Effizienz und Geschwindigkeit.

Wichtige mit QAT verbundene Konzepte#

Für ein vollständiges Verständnis von QAT ist es hilfreich, mit mehreren verwandten Konzepten des maschinellen Lernens vertraut zu sein:

• Präzision: Bezeichnet den Detailgrad, mit dem Zahlen dargestellt werden. Halbpräzision (FP16) und INT8 sind gängige Ziele der Quantisierung.
• Kalibrierung: Der Prozess, bei dem der Wertebereich dynamischer Aktivierungen (min/max) bestimmt wird, um Gleitkommazahlen effektiv auf Ganzzahlen abzubilden. Dies ist ein entscheidender Schritt bei der Bereitstellung quantisierter YOLO-Modelle.
• Inferenzlatenz: Einer der wichtigsten Vorteile von QAT ist die Verringerung der Inferenzlatenz, wodurch schnellere Entscheidungen in Echtzeitsystemen möglich werden.
• Feinabstimmung: QAT wird häufig als Feinabstimmung eines vortrainierten Modells durchgeführt, anstatt ein Modell von Grund auf zu trainieren, und spart dadurch Rechenressourcen.

Durch die Integration des quantisierungsbewussten Trainings in die MLOps-Pipeline können Entwickler die Lücke zwischen Forschungsmodellen mit hoher Genauigkeit und hocheffizienten, produktionsreifen KI-Anwendungen für den Edge-Einsatz schließen.