Model Serving

Le service de modèles est le processus consistant à héberger un modèle d'apprentissage automatique entraîné et à rendre ses fonctionnalités accessibles aux applications logicielles via une interface réseau. Il agit comme un pont entre un fichier de modèle statique enregistré sur un disque et un système en direct qui traite des données réelles. Une fois qu'un modèle a terminé sa phase d'entraînement en machine learning (ML), il doit être intégré dans un environnement de production où il peut recevoir des entrées — comme des images, du texte ou des données tabulaires — et renvoyer des prédictions. Cela est généralement réalisé en encapsulant le modèle dans une Application Programming Interface (API), lui permettant de communiquer avec des serveurs web, des applications mobiles ou des appareils IoT.

Link to this sectionLe rôle du service de modèles dans l'IA#

L'objectif principal du service de modèles est d'opérationnaliser efficacement les capacités de predictive modeling. Alors que l'entraînement se concentre sur la précision et la minimisation de la perte, le service se concentre sur des métriques de performance comme la latence (la rapidité avec laquelle une prédiction est renvoyée) et le débit (le nombre de requêtes pouvant être traitées par seconde). Une infrastructure de service robuste garantit que les systèmes de computer vision (CV) restent fiables sous des charges importantes. Cela implique souvent des technologies comme la containerization utilisant des outils tels que Docker, qui conditionne le modèle avec ses dépendances pour assurer un comportement cohérent à travers différents environnements informatiques.

Link to this sectionApplications concrètes#

Le service de modèles alimente des fonctionnalités d'IA omniprésentes dans diverses industries en permettant une prise de décision immédiate basée sur les données.

• Smart Manufacturing : Dans les environnements industriels, les systèmes d'AI in manufacturing utilisent des modèles servis pour inspecter les chaînes de montage. Des images haute résolution des composants sont envoyées à un serveur local, où un modèle YOLO26 détecte les défauts tels que des rayures ou des désalignements, déclenchant des alertes immédiates pour retirer les articles défectueux.
• Retail Automation : Les détaillants utilisent l'AI in retail pour améliorer l'expérience client. Les caméras desservies par des modèles d'object detection identifient les produits dans une zone de caisse, calculant automatiquement le coût total sans avoir besoin de scanner manuellement les codes-barres.

Link to this sectionMise en œuvre pratique#

Pour servir un modèle efficacement, il est souvent avantageux d'exporter les modèles vers un format standardisé comme ONNX, ce qui favorise l'interopérabilité entre différents frameworks d'entraînement et moteurs de service. L'exemple suivant démontre comment charger un modèle et effectuer une inférence, simulant la logique qui existerait à l'intérieur d'un point de terminaison de service en utilisant Python.

from ultralytics import YOLO

# Load the YOLO26 model (this typically happens once when the server starts)
model = YOLO("yolo26n.pt")

# Simulate an incoming API request with an image source URL
image_source = "https://ultralytics.com/images/bus.jpg"

# Run inference to generate predictions for the user
results = model.predict(source=image_source)

# Process results (e.g., simulating a JSON response to a client)
print(f"Detected {len(results[0].boxes)} objects in the image.")

Link to this sectionChoisir la bonne stratégie#

Le choix de la stratégie de service dépend fortement du cas d'utilisation spécifique. Le service en ligne (Online Serving) fournit des réponses immédiates via des protocoles comme REST ou gRPC, ce qui est essentiel pour les applications web destinées aux utilisateurs. Inversement, le service par lots (Batch Serving) traite de gros volumes de données hors ligne, adapté aux tâches comme la génération de rapports nocturnes. Pour les applications nécessitant confidentialité ou faible latence sans dépendance à Internet, l'Edge AI déplace le processus de service directement vers l'appareil, en utilisant des formats optimisés comme TensorRT pour maximiser les performances sur du matériel contraint. De nombreuses organisations tirent parti de la Ultralytics Platform pour simplifier le déploiement de ces modèles vers divers points de terminaison, y compris les API cloud et les appareils edge.

Link to this sectionDistinction avec les termes associés#

Bien qu'étroitement liés, le « Service de modèles » se distingue du déploiement de modèles et de l'inférence.

• Déploiement de modèles : Cela fait référence à l'étape plus large du cycle de vie consistant à publier un modèle dans un environnement de production. Le service est le mécanisme ou le logiciel spécifique (comme NVIDIA Triton Inference Server ou TorchServe) utilisé pour exécuter le modèle déployé.
• Inférence : Il s'agit de l'acte mathématique de calculer une prédiction à partir d'une entrée. Le service de modèles fournit l'infrastructure (réseau, évolutivité et sécurité) qui permet à l'inférence de se dérouler de manière fiable pour les utilisateurs finaux.
• Microservices : Le service est souvent architecturé comme un ensemble de microservices, où le modèle fonctionne comme un service indépendant que d'autres parties d'une application peuvent interroger, échangeant souvent des données dans des formats légers comme JSON.