Model Quantization

La quantizzazione del modello è una tecnica sofisticata di ottimizzazione del modello utilizzata per ridurre i costi computazionali e di memoria legati all'esecuzione di modelli di deep learning. Nei flussi di lavoro di addestramento standard, le reti neurali memorizzano solitamente i parametri (pesi e bias) e le mappe di attivazione utilizzando numeri in virgola mobile a 32 bit (FP32). Sebbene questa alta precisione garantisca calcoli accurati durante l'addestramento, spesso non è necessaria per l'inferenza. La quantizzazione converte questi valori in formati a precisione ridotta, come i numeri in virgola mobile a 16 bit (FP16) o i numeri interi a 8 bit (INT8), riducendo efficacemente le dimensioni del modello e accelerando la velocità di esecuzione senza compromettere significativamente l'accuratezza.

Link to this sectionPerché la quantizzazione è importante#

Il fattore principale che spinge verso la quantizzazione è la necessità di implementare una potente IA su hardware con risorse limitate. Man mano che i modelli di computer vision come YOLO26 diventano più complessi, le loro richieste computazionali aumentano. La quantizzazione risolve tre colli di bottiglia critici:

• Ingombro di memoria: Riducendo la larghezza di bit dei pesi (ad esempio, da 32 bit a 8 bit), il requisito di archiviazione del modello viene ridotto fino a 4 volte. Questo è fondamentale per le app mobili dove le dimensioni dell'applicazione sono limitate.
• Latenza di inferenza: Le operazioni a precisione ridotta sono computazionalmente meno costose. I processori moderni, specialmente quelli dotati di neural processing units (NPUs) specializzate, possono eseguire operazioni INT8 molto più velocemente rispetto a FP32, riducendo significativamente la latenza di inferenza.
• Consumo energetico: Spostare meno dati attraverso la memoria ed eseguire operazioni aritmetiche più semplici consuma meno energia, prolungando la durata della batteria nei dispositivi portatili e nei veicoli autonomi.

Link to this sectionConfronto con concetti correlati#

È importante differenziare la quantizzazione da altre tecniche di ottimizzazione, poiché modificano il modello in modi distinti:

• Quantizzazione vs. Pruning: Mentre la quantizzazione riduce le dimensioni del file abbassando la larghezza di bit dei parametri, il model pruning comporta la rimozione totale delle connessioni (pesi) non necessarie per creare una rete sparsa. Il pruning altera la struttura del modello, mentre la quantizzazione ne altera la rappresentazione dei dati.
• Quantizzazione vs. Knowledge Distillation: La knowledge distillation è una tecnica di addestramento in cui un piccolo modello "studente" impara a imitare un grande modello "insegnante". La quantizzazione viene spesso applicata al modello studente dopo la distillazione per migliorare ulteriormente le prestazioni dell'edge AI.

Link to this sectionApplicazioni nel mondo reale#

La quantizzazione abilita la computer vision e l'IA in vari settori in cui l'efficienza è fondamentale.

1. Sistemi autonomi: Nell'industria automobilistica, le auto a guida autonoma devono elaborare dati visivi da telecamere e LiDAR in tempo reale. I modelli quantizzati distribuiti su motori NVIDIA TensorRT consentono a questi veicoli di rilevare pedoni e ostacoli con una latenza di millisecondi, garantendo la sicurezza dei passeggeri.

2. Agricoltura intelligente: I droni dotati di telecamere multispettrali utilizzano modelli di object detection quantizzati per identificare malattie delle colture o monitorare le fasi di crescita. L'esecuzione di questi modelli localmente sui sistemi embedded del drone elimina la necessità di connessioni cellulari inaffidabili in campi remoti.

Link to this sectionImplementazione della quantizzazione con Ultralytics#

La libreria Ultralytics semplifica il processo di esportazione, consentendo agli sviluppatori di convertire modelli come l'avanzato YOLO26 in formati quantizzati. La Ultralytics Platform fornisce inoltre strumenti per gestire queste distribuzioni in modo fluido.

Il seguente esempio mostra come esportare un modello in TFLite con la quantizzazione INT8 abilitata. Questo processo prevede una fase di calibrazione in cui il modello osserva i dati di esempio per determinare l'intervallo dinamico ottimale per i valori quantizzati.

from ultralytics import YOLO

# Load a standard YOLO26 model
model = YOLO("yolo26n.pt")

# Export to TFLite format with INT8 quantization
# The 'int8' argument triggers Post-Training Quantization
# 'data' provides the calibration dataset needed for mapping values
model.export(format="tflite", int8=True, data="coco8.yaml")

I modelli ottimizzati vengono spesso distribuiti utilizzando standard interoperabili come ONNX o motori di inferenza ad alte prestazioni come OpenVINO, garantendo un'ampia compatibilità tra diversi ecosistemi hardware.