Quantization-Aware Training (QAT)

La Quantization-Aware Training (QAT) è una tecnica specializzata utilizzata durante la fase di addestramento dei modelli di machine learning per prepararli ad ambienti a precisione inferiore. Nei flussi di lavoro standard di deep learning, i modelli operano tipicamente utilizzando numeri in virgola mobile a 32 bit ad alta precisione (FP32). Sebbene questa precisione offra un'accuratezza eccellente, può essere computazionalmente costosa e avida di memoria, specialmente su dispositivi edge. La QAT simula gli effetti della quantizzazione — riducendo la precisione a formati come interi a 8 bit (INT8) — mentre il modello è ancora in fase di addestramento. Introducendo questi errori di quantizzazione durante il processo di apprendimento, il modello impara ad adattare i propri pesi e a recuperare efficacemente l'accuratezza che altrimenti andrebbe perduta durante la conversione post-addestramento.

Perché la QAT è importante per il deployment su Edge#

Distribuire computer vision models su dispositivi con risorse limitate richiede spesso un bilanciamento tra velocità e prestazioni. I metodi di quantizzazione standard, noti come Post-Training Quantization (PTQ), applicano la riduzione della precisione solo dopo che il modello è stato completamente addestrato. Sebbene la PTQ sia veloce, a volte può degradare l'accuratezza dei modelli sensibili poiché i pesi della neural network vengono modificati in modo significativo senza la possibilità di adattarsi.

La QAT risolve questo problema consentendo al modello di "fare pratica" con la quantizzazione. Durante il passaggio in avanti (forward pass) dell'addestramento, i pesi e le attivazioni vengono simulati come valori a bassa precisione. Ciò consente al processo di gradient descent di aggiornare i parametri del modello in modo tale da minimizzare la perdita specificamente per lo stato quantizzato. Il risultato è un modello robusto che mantiene un'elevata accuratezza anche quando viene distribuito su hardware come microcontrollers o processori mobili.

Differenziare la QAT dalla Post-Training Quantization (PTQ)#

È utile distinguere la QAT dalla model quantization, in particolare dalla Post-Training Quantization (PTQ):

• Post-Training Quantization (PTQ): Il modello viene addestrato normalmente in FP32. Al termine dell'addestramento, i pesi vengono convertiti in INT8. Questo metodo è più veloce e non richiede riaddestramento, ma può comportare una maggiore perdita di accuratezza per architetture complesse.
• Quantization-Aware Training (QAT): Il processo di quantizzazione viene emulato durante la fase di fine-tuning. Il modello regola i propri parametri interni per accogliere il rumore introdotto dalla minore precisione, producendo tipicamente un'accuracy migliore rispetto alla PTQ.

Applicazioni nel mondo reale#

La QAT è essenziale per i settori in cui l'inferenza in tempo reale su hardware edge è critica.

• Droni autonomi: Nelle AI drone operations, la durata della batteria e la potenza di calcolo a bordo sono severamente limitate. I droni che utilizzano modelli ottimizzati tramite QAT possono rilevare ostacoli o tracciare oggetti con elevata precisione utilizzando acceleratori INT8, estendendo significativamente i tempi di volo rispetto ai modelli FP32.
• Telecamere per smart retail: I supermercati utilizzano la computer vision in retail per monitorare l'inventario sugli scaffali o gestire le code alle casse. Questi sistemi spesso funzionano su gateway edge a bassa potenza. La QAT garantisce che i modelli di object detection in esecuzione su questi dispositivi mantengano l'accuratezza necessaria per distinguere tra prodotti simili senza richiedere una costosa connettività cloud.

Implementare la QAT con Ultralytics#

La Ultralytics Platform e l'ecosistema YOLO supportano l'esportazione di modelli in formati quantizzati. Sebbene la QAT sia una procedura di addestramento complessa, i framework moderni facilitano la preparazione dei modelli per l'inferenza quantizzata.

Di seguito è riportato un esempio di come potresti esportare un modello YOLO26 addestrato in un formato TFLite quantizzato INT8, il quale sfrutta i principi della quantizzazione per un'efficiente distribuzione edge.

from ultralytics import YOLO

# Load a trained YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to TFLite format with INT8 quantization
# This prepares the model for efficient execution on edge devices
model.export(format="tflite", int8=True)

Integrazione con gli ecosistemi Edge#

I modelli ottimizzati tramite tecniche di quantizzazione sono progettati per essere eseguiti su motori di inferenza specializzati. I modelli addestrati con QAT vengono frequentemente distribuiti utilizzando ONNX Runtime per la compatibilità multipiattaforma o OpenVINO per l'ottimizzazione su hardware Intel. Ciò garantisce che, indipendentemente dal fatto che la destinazione sia un Raspberry Pi o una Edge TPU dedicata, il modello funzioni con la massima efficienza e velocità possibili.

Concetti chiave relativi alla QAT#

Per comprendere appieno la QAT, è utile avere familiarità con diversi concetti di machine learning correlati:

• Precisione: Si riferisce al livello di dettaglio utilizzato per rappresentare i numeri. La Half-precision (FP16) e l'INT8 sono bersagli comuni per la quantizzazione.
• Calibrazione: Il processo di determinazione dell'intervallo di valori di attivazione dinamica (min/max) per mappare efficacemente i numeri in virgola mobile agli interi. Questo è un passaggio cruciale nel deploying quantized YOLO models.
• Latenza di inferenza: Uno dei principali vantaggi della QAT è la riduzione della inference latency, consentendo un processo decisionale più rapido nei sistemi in tempo reale.
• Fine-Tuning: La QAT viene spesso eseguita come fase di fine-tuning su un modello pre-addestrato anziché partire da zero, risparmiando risorse computazionali.

Integrando la Quantization-Aware Training nella pipeline MLOps, gli sviluppatori possono colmare il divario tra i modelli di ricerca ad alta accuratezza e le applicazioni di edge AI altamente efficienti e pronte per la produzione.