Mixed Precision

La précision mixte est une technique essentielle d’optimisation des modèles utilisée pour accélérer l’entraînement des modèles de deep learning tout en réduisant la consommation mémoire. En combinant stratégiquement différents formats numériques — généralement des types à virgule flottante sur 16 et 32 bits — cette méthode permet aux algorithmes de [machine learning](https://ultralytics-translation-1.invalid d’effectuer les calculs plus rapidement sans compromettre la précision finale du modèle. Elle est devenue une pratique standard dans le développement moderne de l’IA, notamment pour les tâches gourmandes en ressources comme l’entraînement de l’architecture YOLO26 sur des jeux de données massifs.

Fonctionnement de la précision mixte#

Dans les workflows traditionnels de deep learning, les modèles effectuent généralement leurs calculs au format à virgule flottante simple précision (FP32). Chaque nombre en FP32 nécessite 32 bits de mémoire. Bien que très précis, ce format peut être coûteux en calcul et très exigeant en mémoire.

La précision mixte introduit l’utilisation de la demi-précision (FP16), qui n’utilise que 16 bits. Cependant, l’utilisation exclusive de FP16 peut entraîner une instabilité numérique en raison d’une plage dynamique plus réduite. Pour résoudre ce problème, les méthodes de précision mixte conservent une « copie maître » des poids du modèle en FP32 pour assurer la stabilité, tout en utilisant FP16 pour les opérations mathématiques intensives, comme les convolutions et les multiplications matricielles.

Le processus comprend généralement trois étapes clés :

1. Conversion : conversion des entrées et des activations du modèle en FP16 afin d’accélérer l’exécution sur du matériel compatible, comme les Tensor Cores de NVIDIA.

2. Mise à l’échelle de la perte : amplification des valeurs de la fonction de perte pour éviter le phénomène d’« underflow », où de petites mises à jour des gradients deviennent nulles en FP16.

3. Accumulation : réalisation des opérations arithmétiques en FP16, puis accumulation des résultats en FP32 afin de préserver les informations nécessaires avant la mise à jour des poids maîtres.

Avantages pour l’entraînement de l’IA#

L’adoption de la précision mixte offre des avantages significatifs aux développeurs et aux chercheurs qui utilisent efficacement les ressources de calcul :

• Entraînement plus rapide : les opérations en FP16 nécessitent moins de bande passante mémoire et sont traitées plus rapidement par les GPU modernes. Cela peut réduire considérablement le temps nécessaire pour une époque.
• Réduction de l’utilisation mémoire : puisque les tenseurs FP16 occupent deux fois moins de mémoire que ceux en FP32, les développeurs peuvent essentiellement doubler leur taille de lot. Des tailles de lot plus importantes produisent souvent des estimations de gradients plus stables et une convergence plus rapide.
• Efficacité énergétique : la réduction de la charge de calcul se traduit par une consommation énergétique moindre, ce qui est essentiel pour les opérations d’entraînement dans le cloud à grande échelle.

Applications concrètes#

La précision mixte est utilisée dans différents secteurs pour traiter efficacement des modèles complexes et de grands jeux de données.

Conduite autonome#

Lors du développement de véhicules autonomes, les ingénieurs doivent entraîner des modèles de détection d’objets sur des millions d’images vidéo haute résolution. La précision mixte leur permet d’entraîner efficacement des modèles de pointe comme YOLO26. L’empreinte mémoire réduite permet de traiter des entrées de plus haute résolution, ce qui est essentiel pour détecter de petits objets comme les panneaux de signalisation ou les piétons à distance.

Analyse d’images médicales#

L’analyse d’images médicales implique souvent des données volumiques 3D issues d’examens IRM ou de scanners CT, qui sont extrêmement gourmandes en mémoire. L’entraînement de modèles de segmentation sur ces données en précision FP32 complète entraîne souvent des erreurs « Mémoire insuffisante » (OOM). La précision mixte permet aux chercheurs de faire tenir ces modèles volumineux dans la mémoire du GPU, facilitant ainsi le développement d’une IA capable d’aider les médecins à diagnostiquer les maladies plus tôt.

Implémentation de la précision mixte avec Ultralytics#

Les frameworks modernes comme PyTorch gèrent généralement automatiquement les complexités de la précision mixte grâce à une fonctionnalité appelée précision mixte automatique (AMP). Le package ultralytics active AMP par défaut pendant l’entraînement afin de garantir des performances optimales.

Voici un exemple concis d’initiation d’un entraînement avec Ultralytics YOLO26, où la précision mixte est activée par défaut (et contrôlable via l’argument amp) :

from ultralytics import YOLO

# Load the latest YOLO26 model
model = YOLO("yolo26n.pt")

# Train the model on the COCO8 dataset
# amp=True is the default setting for mixed precision training
results = model.train(data="coco8.yaml", epochs=5, imgsz=640, amp=True)

Précision mixte et concepts associés#

Il est utile de distinguer la précision mixte des termes similaires du glossaire afin d’éviter toute confusion :

• Quantification des modèles : alors que la précision mixte utilise des nombres à virgule flottante de précision inférieure (FP16) pendant l’entraînement, la quantification convertit généralement les poids en entiers (comme INT8) après l’entraînement pour le déploiement. La quantification vise principalement la latence d’inférence sur les appareils edge, tandis que la précision mixte se concentre sur la vitesse et la stabilité de l’entraînement.
• Demi-précision : ce terme désigne spécifiquement le format de données FP16. La précision mixte est la technique qui consiste à utiliser conjointement FP16 et FP32. L’utilisation exclusive de la demi-précision, sans la copie maître FP32 « mixte », entraîne souvent l’échec de la convergence des modèles en raison d’erreurs numériques.

Conclusion#

La précision mixte a révolutionné la manière dont les réseaux neuronaux sont entraînés, en servant de catalyseur essentiel aux modèles de fondation massifs et aux systèmes de vision que nous voyons aujourd’hui. En équilibrant le besoin de précision mathématique avec les contraintes de vitesse et de mémoire du matériel, elle permet aux développeurs d’itérer plus rapidement et de concevoir des solutions d’IA plus performantes.

Pour gérer des jeux de données et entraîner facilement des modèles optimisés, la plateforme Ultralytics offre un environnement complet qui exploite automatiquement ces techniques modernes d’optimisation.