Modèle Servir

Importance du service de modèles

Le service de modèle est fondamental pour rendre opérationnels les modèles de ML. Sans cela, même les modèles les plus précis, comme les modèles de pointe. Ultralytics YOLO restent isolés dans des environnements de développement, incapables d'avoir un impact sur les processus du monde réel. Un service de modèle efficace garantit que les connaissances et les capacités d'automatisation développées pendant la formation sont accessibles et utilisables. Il permet une inférence en temps réel, ce qui permet aux applications de répondre dynamiquement aux nouvelles données, ce qui est crucial pour des tâches allant de la détection d'objets dans les vidéos au traitement du langage naturel (NLP) dans les chatbots. En fin de compte, le service de modèle est essentiel pour réaliser le retour sur investissement (ROI) des initiatives d'IA.

Service de modèles et déploiement de modèles

Bien qu'il soit souvent utilisé de manière interchangeable, le service de modèle est techniquement un composant spécifique du processus plus large de déploiement de modèle. Le déploiement de modèles englobe toutes les étapes nécessaires pour prendre un modèle formé et le rendre opérationnel dans un environnement de production en direct, y compris l'emballage, la configuration de l'infrastructure, l'intégration et la surveillance. Le service de modèle se concentre spécifiquement sur l'infrastructure et la couche logicielle qui héberge le modèle et traite les demandes de prédiction entrantes, en rendant les fonctionnalités du modèle disponibles en tant que service, souvent via des protocoles de réseau tels que REST ou gRPC. Pour plus de détails, consulte notre guide sur les options de déploiement de modèles.

Applications dans le monde réel

Le service de modèle permet d'innombrables fonctionnalités pilotées par l'IA avec lesquelles nous interagissons quotidiennement. En voici deux exemples :

• Plateformes de commerce électronique : Les systèmes de recommandation font des suggestions de produits personnalisées aux utilisateurs en temps réel en fonction de leur historique de navigation et de leurs préférences. L'infrastructure de service de modèles gère des millions de demandes, en garantissant une faible latence d'inférence.
• Diagnostic médical : Dans l'analyse d'images médicales, les modèles formés pour détecter les anomalies (comme les tumeurs dans les scanners, voir Utilisation de YOLO11 pour la détection des tumeurs) sont servis via des points de terminaison sécurisés. Les cliniciens peuvent télécharger des images et recevoir une aide au diagnostic(Radiologie : intelligence artificielle) rapidement et efficacement.

Composantes clés du service modèle

La mise en place d'un système de desserte de modèle robuste implique que plusieurs éléments travaillent ensemble :

• Format du modèle : Les modèles doivent être présentés dans un format adapté au service, tel que ONNXou optimisés à l'aide d'outils comme TensorRT pour de meilleures performances sur du matériel spécifique comme les GPUNVIDIA .
• Cadre de service : Un logiciel spécialisé s'occupe du chargement du modèle, de la gestion des ressources et du traitement efficace des demandes d'inférence. Les exemples incluent TensorFlow Serving, TorchServe et NVIDIA Triton Inference Server, avec lequel les modèles Ultralytics s'intègrentTriton Guide d'intégration deTriton ).
• Point de terminaison API : Une interface (par exemple, REST, gRPC) permet aux applications clientes d'envoyer des données et de recevoir des prédictions. Cette interface est souvent gérée par une passerelle API pour la sécurité, la limitation du débit et le routage.
• Infrastructure : Le matériel et l'environnement sous-jacents où le modèle est servi, qui peuvent être des plateformes de cloud computing comme Amazon SageMaker ou Google Cloud AI Platform (Vertex AI), des serveurs sur site ou des appareils de edge computing(Deploying on Edge AI Devices). Les outils de conteneurisation comme Docker sont souvent utilisés pour le conditionnement(Docker Quickstart).
• Surveillance et enregistrement : Outils de suivi des mesures de performance (latence, débit, taux d'erreur), de l'utilisation des ressources et des problèmes potentiels tels que la dérive des données(Guide de surveillance des modèles).

Des plateformes comme Ultralytics HUB visent à simplifier l'ensemble de ce flux de travail, en offrant des solutions intégrées pour la formation, le versionnage, le déploiement et le service des modèles de vision par ordinateur, en s'alignant sur les meilleures pratiques MLOps (Machine Learning Operations). Les considérations clés comprennent l'évolutivité pour gérer les changements de charge, la sécurité(sécurité des données) et la maintenabilité.