Model Serving

Le service de modèles est le processus qui consiste à héberger un modèle de machine learning entraîné et à rendre ses fonctionnalités accessibles aux applications logicielles via une interface réseau. Il fait le lien entre un fichier de modèle statique enregistré sur un disque et un système actif qui traite des données du monde réel. Une fois qu’un modèle a terminé sa phase d’entraînement en apprentissage automatique (ML), il doit être intégré à un environnement de production où il peut recevoir des entrées — comme des images, du texte ou des données tabulaires — et renvoyer des prédictions. Pour cela, on encapsule généralement le modèle dans une interface de programmation d’application (API), ce qui lui permet de communiquer avec des serveurs web, des applications mobiles ou des appareils IoT.

Le rôle du service de modèles dans l’IA#

L’objectif principal du service de modèles est de rendre les fonctionnalités de modélisation prédictive pleinement opérationnelles. Alors que l’entraînement se concentre sur la précision et la minimisation de la perte, le service se concentre sur des indicateurs de performance comme la latence (la vitesse à laquelle une prédiction est renvoyée) et le débit (le nombre de requêtes pouvant être traitées par seconde). Une infrastructure de service robuste garantit que les systèmes de vision par ordinateur (CV) restent fiables sous de fortes charges. Elle fait souvent appel à des technologies comme la conteneurisation, utilisant des outils tels que Docker, qui regroupe le modèle et ses dépendances afin de garantir un comportement cohérent dans différents environnements informatiques.

Applications concrètes#

Le service de modèles alimente des fonctionnalités d’IA omniprésentes dans divers secteurs en permettant une prise de décision immédiate fondée sur les données.

• Fabrication intelligente : Dans les environnements industriels, les systèmes d’IA dans la fabrication utilisent des modèles servis pour inspecter les lignes d’assemblage. Des images haute résolution des composants sont envoyées à un serveur local, où un modèle YOLO26 détecte des défauts comme des rayures ou des défauts d’alignement, déclenchant des alertes immédiates pour retirer les articles défectueux.
• Automatisation du commerce de détail : Les détaillants utilisent l’IA dans le commerce de détail pour améliorer l’expérience client. Des caméras alimentées par des modèles de détection d’objets identifient les produits dans une zone de paiement et calculent automatiquement le coût total, sans qu’il soit nécessaire de scanner manuellement les codes-barres.

Mise en œuvre pratique#

Pour servir efficacement un modèle, il est souvent avantageux d’exporter des modèles dans un format standardisé comme ONNX, ce qui favorise l’interopérabilité entre différents frameworks d’entraînement et moteurs de service. L’exemple suivant montre comment charger un modèle et exécuter une inférence, en simulant la logique qui existerait au sein d’un point de terminaison de service avec Python.

from ultralytics import YOLO

# Load the YOLO26 model (this typically happens once when the server starts)
model = YOLO("yolo26n.pt")

# Simulate an incoming API request with an image source URL
image_source = "https://ultralytics.com/images/bus.jpg"

# Run inference to generate predictions for the user
results = model.predict(source=image_source)

# Process results (e.g., simulating a JSON response to a client)
print(f"Detected {len(results[0].boxes)} objects in the image.")

Choisir la bonne stratégie#

Le choix de la stratégie de service dépend fortement du cas d’usage spécifique. Le service en ligne fournit des réponses immédiates via des protocoles comme REST ou gRPC, ce qui est essentiel pour les applications web destinées aux utilisateurs. À l’inverse, le service par lots traite hors ligne de gros volumes de données, ce qui convient à des tâches comme la génération nocturne de rapports. Pour les applications nécessitant de la confidentialité ou une faible latence sans dépendre d’Internet, l’IA en périphérie déplace directement le processus de service sur l’appareil, en utilisant des formats optimisés comme TensorRT afin de maximiser les performances sur du matériel aux ressources limitées. De nombreuses organisations s’appuient sur la plateforme Ultralytics pour simplifier le déploiement de ces modèles vers différents points de terminaison, notamment des API cloud et des appareils en périphérie.

Distinction avec les termes associés#

Bien qu’étroitement liés, le « service de modèles » est distinct du déploiement de modèles et de l’inférence.

• Déploiement de modèles : Cette expression désigne l’étape plus large du cycle de vie correspondant à la mise en production d’un modèle. Le service de modèles est le mécanisme ou logiciel spécifique (comme NVIDIA Triton Inference Server ou TorchServe) utilisé pour exécuter le modèle déployé.
• Inférence : Il s’agit de l’opération mathématique consistant à calculer une prédiction à partir d’une entrée. Le service de modèles fournit l’infrastructure (réseau, évolutivité et sécurité) qui permet à l’inférence de s’effectuer de manière fiable pour les utilisateurs finaux.
• Microservices : Le service de modèles est souvent conçu comme un ensemble de microservices, où le modèle s’exécute en tant que service indépendant que les autres composants d’une application peuvent interroger, en échangeant souvent des données dans des formats légers comme JSON.