Model Quantization

La quantification de modèle est une technique sophistiquée d'optimisation de modèle utilisée pour réduire les coûts de calcul et de mémoire liés à l'exécution de modèles de deep learning. Dans les workflows d'entraînement standard, les réseaux de neurones stockent généralement les paramètres (poids et biais) et les cartes d'activation en utilisant des nombres flottants 32 bits (FP32). Bien que cette haute précision garantisse des calculs exacts pendant l'entraînement, elle est souvent inutile pour l'inférence. La quantification convertit ces valeurs dans des formats de moindre précision, tels que les flottants 16 bits (FP16) ou les entiers 8 bits (INT8), réduisant ainsi efficacement la taille du modèle et accélérant la vitesse d'exécution sans compromettre significativement la précision.

Link to this sectionPourquoi la quantification est importante#

Le moteur principal de la quantification est la nécessité de déployer une IA puissante sur du matériel aux ressources limitées. À mesure que les modèles de vision par ordinateur comme YOLO26 deviennent plus complexes, leurs exigences en matière de calcul augmentent. La quantification répond à trois goulots d'étranglement critiques :

• Empreinte mémoire : En réduisant la largeur de bit des poids (par exemple, de 32 bits à 8 bits), le besoin en stockage du modèle est réduit jusqu'à 4x. C'est vital pour les applications mobiles où la taille de l'application est limitée.
• Latence d'inférence : Les opérations à plus faible précision sont moins coûteuses en calcul. Les processeurs modernes, en particulier ceux dotés d'unités de traitement neuronal (NPU) spécialisées, peuvent exécuter les opérations INT8 beaucoup plus rapidement que les FP32, réduisant ainsi considérablement la latence d'inférence.
• Consommation d'énergie : Transférer moins de données via la mémoire et effectuer des opérations arithmétiques plus simples consomme moins d'énergie, prolongeant ainsi la durée de vie de la batterie des appareils portables et des véhicules autonomes.

Link to this sectionComparaison avec des concepts associés#

Il est important de différencier la quantification des autres techniques d'optimisation, car elles modifient le modèle de manières distinctes :

• Quantification vs élagage (pruning) : Alors que la quantification réduit la taille du fichier en abaissant la largeur de bit des paramètres, l'élagage de modèle implique de supprimer entièrement les connexions inutiles (poids) pour créer un réseau creux. L'élagage modifie la structure du modèle, tandis que la quantification modifie la représentation des données.
• Quantification vs distillation de connaissances : La distillation de connaissances est une technique d'entraînement où un petit modèle "étudiant" apprend à imiter un grand modèle "enseignant". La quantification est souvent appliquée au modèle étudiant après la distillation pour améliorer davantage les performances de l'IA en périphérie (edge AI).

Link to this sectionApplications concrètes#

La quantification permet l'utilisation de la vision par ordinateur et de l'IA dans diverses industries où l'efficacité est primordiale.

1. Systèmes autonomes : Dans l'industrie automobile, les voitures autonomes doivent traiter les données visuelles provenant des caméras et du LiDAR en temps réel. Les modèles quantifiés déployés sur des moteurs NVIDIA TensorRT permettent à ces véhicules de détecter les piétons et les obstacles avec une latence de l'ordre de la milliseconde, garantissant la sécurité des passagers.

2. Agriculture intelligente : Les drones équipés de caméras multispectrales utilisent des modèles de détection d'objets quantifiés pour identifier les maladies des cultures ou surveiller les étapes de croissance. Exécuter ces modèles localement sur les systèmes embarqués du drone supprime le besoin de connexions cellulaires peu fiables dans les champs isolés.

Link to this sectionImplémenter la quantification avec Ultralytics#

La bibliothèque Ultralytics simplifie le processus d'exportation, permettant aux développeurs de convertir des modèles tels que le très performant YOLO26 vers des formats quantifiés. La plateforme Ultralytics fournit également des outils pour gérer ces déploiements de manière transparente.

L'exemple suivant démontre comment exporter un modèle vers TFLite avec la quantification INT8 activée. Ce processus implique une étape de calibration où le modèle observe des données d'échantillonnage pour déterminer la plage dynamique optimale pour les valeurs quantifiées.

from ultralytics import YOLO

# Load a standard YOLO26 model
model = YOLO("yolo26n.pt")

# Export to TFLite format with INT8 quantization
# The 'int8' argument triggers Post-Training Quantization
# 'data' provides the calibration dataset needed for mapping values
model.export(format="tflite", int8=True, data="coco8.yaml")

Les modèles optimisés sont fréquemment déployés en utilisant des standards interopérables comme ONNX ou des moteurs d'inférence haute performance tels que OpenVINO, garantissant une large compatibilité à travers divers écosystèmes matériels.