Inference Engine

Un moteur d'inférence est un composant logiciel spécialisé conçu pour exécuter des modèles de machine learning entraînés et générer des prédictions à partir de nouvelles données. Contrairement à la phase d'entraînement, qui se concentre sur l'apprentissage de modèles via des processus informatiquement intensifs comme la backpropagation, un moteur d'inférence est strictement optimisé pour la phase opérationnelle connue sous le nom de déploiement de modèle. Son objectif principal est d'effectuer les calculs le plus efficacement possible, en minimisant la latence d'inférence et en maximisant le débit sur le matériel cible, qu'il s'agisse d'un serveur cloud évolutif ou d'un appareil Edge AI alimenté par batterie. En éliminant la surcharge nécessaire à l'entraînement, ces moteurs permettent à des réseaux neuronaux complexes de fonctionner dans des applications en temps réel.

Link to this sectionComment les moteurs d'inférence optimisent les performances#

La transition d'un environnement d'entraînement vers un moteur d'inférence implique généralement plusieurs étapes d'optimisation pour rationaliser la structure du modèle. Comme le modèle n'a plus besoin d'apprendre, le moteur peut supprimer les données nécessaires aux mises à jour de gradient, figeant ainsi efficacement les poids du modèle. Les techniques courantes utilisées par les moteurs d'inférence incluent la fusion de couches, où plusieurs opérations sont combinées en une seule étape pour réduire l'accès à la mémoire, et la quantification de modèle, qui convertit les poids des formats à virgule flottante de haute précision en entiers de plus faible précision (par ex., INT8).

Ces optimisations permettent à des architectures avancées telles que Ultralytics YOLO26 de fonctionner à des vitesses incroyablement élevées sans perte significative de précision. Différents moteurs sont souvent adaptés à des écosystèmes matériels spécifiques pour libérer une performance maximale :

• NVIDIA TensorRT : Fournit une inférence haute performance sur les GPU NVIDIA en utilisant des noyaux spécifiques au matériel et en optimisant le graphe du réseau.
• Intel OpenVINO : Optimise les performances du deep learning sur les architectures Intel, y compris les CPU et les graphiques intégrés, ce qui le rend idéal pour l'edge computing.
• ONNX Runtime : Un accélérateur multiplateforme qui prend en charge les modèles au format ONNX, offrant un pont entre différents frameworks et backends matériels.

Link to this sectionApplications concrètes#

Les moteurs d'inférence sont les moteurs silencieux derrière de nombreuses commodités modernes de l'IA, permettant aux systèmes de computer vision de réagir instantanément à leur environnement.

1. Véhicules autonomes : Dans les voitures autonomes, les modèles d'object detection doivent identifier les piétons, les panneaux de signalisation et les autres véhicules en quelques millisecondes. Un moteur d'inférence tournant localement sur le matériel de la voiture garantit que ce traitement s'effectue à des vitesses d'inférence en temps réel, car s'appuyer sur une connexion cloud introduirait des délais dangereux.

2. Fabrication intelligente : Les usines utilisent des caméras industrial IoT pour inspecter les produits sur les chaînes de montage. Un moteur d'inférence traite les flux vidéo pour effectuer de l'anomaly detection, signalant instantanément les défauts. Cette automatisation réduit les déchets et assure un contrôle qualité strict sans ralentir la production.

Link to this sectionMoteur d'inférence vs Framework d'entraînement#

Il est utile de distinguer le logiciel utilisé pour créer le modèle et le moteur utilisé pour l'exécuter. Un Training Framework (comme PyTorch ou TensorFlow) fournit les outils pour concevoir des architectures, calculer la perte et mettre à jour les paramètres via l'apprentissage supervisé. Il privilégie la flexibilité et les capacités de débogage.

En revanche, le Inference Engine prend l'artefact fini du framework d'entraînement et privilégie la vitesse d'exécution et l'efficacité mémoire. Bien que tu puisses exécuter l'inférence au sein d'un framework d'entraînement, c'est rarement aussi efficace que d'utiliser un moteur dédié, surtout pour un déploiement sur des téléphones mobiles ou des appareils embarqués via des outils comme TensorFlow Lite ou Apple Core ML.

Link to this sectionUtiliser un moteur d'inférence avec YOLO26#

Le package ultralytics résume une grande partie de la complexité des moteurs d'inférence, permettant aux utilisateurs d'exécuter des prédictions de manière transparente. En arrière-plan, il gère le pré-traitement des images et l'exécution du modèle. Pour les utilisateurs cherchant à passer à l'échelle, la Ultralytics Platform simplifie le processus d'entraînement et d'exportation des modèles vers des formats optimisés compatibles avec divers moteurs d'inférence.

L'exemple suivant démontre comment charger un modèle YOLO26 pré-entraîné et exécuter l'inférence sur une image :

from ultralytics import YOLO

# Load the YOLO26n model (nano version for speed)
model = YOLO("yolo26n.pt")

# Run inference on an image from a URL
# The 'predict' method acts as the interface to the inference process
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Display the results
results[0].show()