Terminaux d'inférence dédiés vs inférence partagée pour le déploiement

Récemment, nous avons lancé la Ultralytics Platform, une solution complète qui centralise l'ensemble du flux de travail en vision par ordinateur, de la préparation des jeux de données et l'entraînement des modèles jusqu'à l'inférence, le déploiement et le suivi.

Basée sur les retours de la communauté de vision par ordinateur, cette plateforme est conçue pour simplifier chaque étape du développement en offrant des fonctionnalités intégrées qui soutiennent tout le cycle de vie des applications d'IA visuelle.

Par exemple, une fois qu'un modèle est entraîné, l'étape suivante consiste à le déployer pour qu'il puisse être utilisé afin d'exécuter l'inférence et d'effectuer des prédictions dans des applications réelles. La plateforme rend ce processus simple en proposant plusieurs options de déploiement.

Tu peux exporter des modèles pour les exécuter dans ton propre environnement, utiliser l'inférence partagée pour des tests rapides, ou déployer des endpoints dédiés pour des applications scalables prêtes pour la production. Chacune de ces options de déploiement te permet d'exécuter l'inférence IA, mais elles sont conçues pour des étapes et des cas d'usage différents.

Fig 1. Ultralytics Platform permet le déploiement global et scalable de modèles d'IA visuelle (Source)

L'exportation de modèle te donne un contrôle total pour exécuter des modèles dans ta propre infrastructure, l'inférence partagée simplifie les tests et l'expérimentation sans configuration, et les endpoints dédiés sont conçus pour des charges de travail de production fiables et à grande échelle.

Au premier abord, l'inférence partagée et les endpoints dédiés peuvent sembler assez similaires. Tous deux te permettent d'envoyer des requêtes API à ton modèle et de recevoir des prédictions structurées, facilitant ainsi l'intégration de l'IA visuelle dans tes applications.

Cependant, à mesure que tes charges de travail augmentent et que tes applications de vision par ordinateur commencent à traiter des requêtes d'inférence en temps réel, les différences entre ces options deviennent plus importantes. Dans cet article, nous examinerons de plus près l'inférence partagée et les endpoints dédiés, comment ils se comparent, quand utiliser chacun, et pourquoi les endpoints dédiés deviennent le meilleur choix à mesure que tes applications grandissent.

Link to this sectionUn aperçu du déploiement utilisant l'inférence partagée#

L'inférence partagée est un moyen simple d'exécuter l'inférence IA sur tes modèles sans avoir à configurer d'infrastructure ni à te soucier des types de GPU, de l'intégration des frameworks ou de la configuration du runtime. Une fois ton modèle entraîné ou affiné, tu peux l'utiliser pour effectuer des prédictions directement via la plateforme.

Dans cette configuration, ton modèle s'exécute sur des ressources de calcul partagées et multi-locataires dans quelques régions centrales, telles que les États-Unis, l'Europe et l'Asie-Pacifique. Les requêtes sont automatiquement routées vers les services disponibles, tu n'as donc pas besoin de configurer des instances GPU ou des environnements de runtime. Tout est géré pour toi, ce qui facilite tes débuts.

Lorsque tu utilises l'inférence partagée, tu envoies des requêtes à ton modèle via une REST API en utilisant des outils comme Python ou CLI, et tu reçois des sorties JSON structurées, telles que des objets détectés, des scores de confiance et d'autres détails de prédiction. Cela rend le test des modèles et leur intégration dans des applications transparents.

Comme le système est partagé, il est conçu pour le développement, les tests et un usage léger. Il fonctionne bien pour valider des prédictions et construire des intégrations préliminaires. En même temps, les performances peuvent varier en fonction de la charge du système, et l'utilisation est limitée à 20 requêtes par minute par clé API, ce qui le rend moins adapté aux charges de travail de production à haut débit.

Dans l'ensemble, l'inférence partagée est mieux adaptée au développement en phase initiale, où l'accent est mis sur la compréhension et l'amélioration de ton modèle avant de passer à des applications à plus grande échelle.

Link to this sectionDéploie des modèles globalement en utilisant des endpoints dédiés#

Les endpoints dédiés sont des services d'inférence mono-locataires où tes modèles d'IA visuelle s'exécutent sur des ressources de calcul isolées. Au lieu de partager l'infrastructure, chaque endpoint possède son propre runtime avec des ressources configurables telles que le CPU et la mémoire, te donnant plus de contrôle sur les performances.

Lorsque tu déploies un modèle en tant qu'endpoint dédié, il se voit attribuer une URL API unique et utilise ta clé API pour l'authentification, facilitant ainsi son intégration dans tes applications. Ces endpoints peuvent être déployés dans 43 régions mondiales, te permettant d'exécuter l'inférence au plus proche de tes utilisateurs et de réduire la latence.

Fig 2. Tu peux déployer des endpoints dédiés dans 43 régions mondiales (Source)

L'un des avantages clés est l'autoscaling. Les endpoints s'ajustent automatiquement en fonction des requêtes entrantes, montant en charge pour traiter un trafic plus élevé et descendant lorsque la demande diminue. Avec le passage à zéro (scale-to-zero) activé par défaut, les endpoints peuvent s'éteindre lorsqu'ils sont inactifs et redémarrer si nécessaire, aidant à optimiser l'utilisation des ressources.

En d'autres termes, les endpoints dédiés sont conçus pour les charges de travail de production. Ils offrent une faible latence constante, un débit plus élevé et une plus grande fiabilité par rapport à l'inférence partagée.

De plus, les endpoints dédiés n'ont pas de limites de débit. Les requêtes vont directement vers ton endpoint, donc le volume de trafic que tu peux gérer dépend de ta configuration et de ton scaling plutôt que de limites fixes.

En complément, le monitoring intégré, les logs, les vérifications de santé, ainsi qu'un comportement prévisible du runtime et du démarrage facilitent le suivi des performances et le maintien de déploiements stables sur tous les plans. Sur le plan Gratuit, les démarrages à froid prennent généralement entre 5 et 45 secondes, tandis que les endpoints du plan Pro restent actifs, ce qui permet des performances d'inférence plus rapides et plus prévisibles.

En clair, les endpoints dédiés sont idéaux pour les applications d'IA visuelle en temps réel qui nécessitent une inférence fiable, scalable et haute performance.

Link to this sectionInférence partagée vs endpoints dédiés : Différences fondamentales#

Voici un aperçu plus détaillé de la comparaison entre l'inférence partagée et les endpoints dédiés :

• Latence : La latence peut varier dans les environnements partagés en raison du partage des ressources, tandis que les endpoints dédiés fournissent des réponses plus cohérentes et à faible latence.
• Régions : L'inférence partagée est disponible dans quelques régions (US, EU, AP), alors que les endpoints dédiés prennent en charge le déploiement dans 43 régions mondiales.
• Scalabilité : La scalabilité n'est pas configurable avec l'inférence partagée, alors que les endpoints dédiés s'adaptent automatiquement en fonction du trafic entrant.
• Limites de débit : L'inférence partagée est soumise à des limites de débit (20 requêtes ou appels API par minute par clé API), tandis que les endpoints dédiés n'ont pas de limites de débit de plateforme.
• Tarification : L'inférence partagée est incluse sans coût supplémentaire pour les tests et le développement, tandis que les endpoints dédiés offrent plus de contrôle et de scalabilité, avec une utilisation dépendant de la configuration des ressources et des besoins de déploiement.

Link to this sectionPourquoi les endpoints dédiés sont meilleurs pour les charges de travail de production#

À mesure que les applications d'IA et de machine learning passent des tests à une utilisation réelle, la performance, la scalabilité et la fiabilité deviennent essentielles. C'est pourquoi les endpoints dédiés offrent des avantages clairs par rapport à l'inférence partagée.

Avec des endpoints dédiés, ton modèle pré-entraîné ou personnalisé s'exécute sur ses propres ressources de calcul, donc les performances ne sont pas affectées par les autres utilisateurs. Cela aide à maintenir une latence faible et constante, ce qui est important pour les applications temps réel comme l'analyse vidéo et les systèmes de surveillance.

Fig 3. Un aperçu du déploiement utilisant un endpoint d'inférence dédié (Source)

Par exemple, pense à un système d'analyse de vente au détail traitant des flux de caméras en direct dans plusieurs magasins. En déployant des endpoints dans 43 régions mondiales, l'inférence peut s'exécuter au plus près de chaque magasin, réduisant la latence et améliorant les temps de réponse.

Avec l'inférence partagée, où les ressources sont partagées et les régions limitées, les performances peuvent varier pendant les périodes d'activité intense.

Les endpoints dédiés peuvent également gérer un trafic plus élevé et scaler automatiquement en fonction de la demande. Avec le monitoring intégré, les logs et les vérifications de santé, ils offrent des performances plus prévisibles, ce qui en fait un choix approprié pour les charges de travail IA continues et à grande échelle.

Link to this sectionOù l'inférence partagée s'intègre dans le flux de travail d'IA visuelle#

Alors que tu explores les différences entre l'inférence partagée et les endpoints dédiés, tu te demandes peut-être quelle est la place de l'inférence partagée dans le flux de travail global de vision par ordinateur.

Reprenons l'exemple de l'analyse de vente au détail. Avant de déployer une solution de vision dans plusieurs magasins, les équipes doivent généralement tester ses performances sur des données réelles et l'affiner en fonction de ces résultats.

L'inférence partagée simplifie ce processus en te permettant d'envoyer des échantillons d'images ou de vidéos provenant des caméras des magasins et de vérifier rapidement les prédictions sans configurer d'infrastructure. C'est particulièrement utile pour tester le comportement du modèle, déboguer les mauvaises prédictions et valider les résultats dans différentes conditions, comme les changements de luminosité ou la disposition des magasins.

En itérant de cette manière, les équipes peuvent améliorer la précision et la fiabilité du modèle avant de passer à la production. Une fois que le modèle fonctionne bien dans ces scénarios de test, il peut ensuite être déployé sur des endpoints dédiés pour une utilisation en temps réel sur plusieurs sites.

L'inférence partagée peut également bien fonctionner pour des applications avec une utilisation faible ou irrégulière. Par exemple, un petit magasin de détail pourrait l'utiliser pour analyser occasionnellement le flux de clients ou revoir l'activité des clients à des moments spécifiques, sans avoir besoin d'un déploiement totalement dimensionné. Dans ces cas, cela fournit un moyen simple et rentable d'exécuter l'inférence à la demande.

Link to this sectionCas d'utilisation réels des endpoints dédiés#

À mesure que les applications IA dépassent le stade des tests, le choix du déploiement commence à impacter directement la performance, la scalabilité et l'expérience utilisateur. Les endpoints dédiés peuvent être largement utilisés dans tous les secteurs car ils offrent des performances stables, une faible latence et la capacité de gérer des charges de travail à grande échelle.

Voici quelques cas d'utilisation courants qui montrent comment les endpoints dédiés peuvent être utilisés dans des applications réelles :

• Retail et analytique vidéo : Une chaîne de magasins peut utiliser la vision par ordinateur pour suivre les déplacements des clients, identifier les produits populaires et surveiller l'activité du magasin en temps réel. Les endpoints dédiés maintiennent l'inférence rapide et cohérente sur plusieurs points de vente, même pendant les heures de pointe.
• Manufacturing et contrôle qualité : Sur une ligne de production, les modèles peuvent détecter des défauts ou des anomalies à mesure que les produits circulent dans le système. Les endpoints dédiés prennent en charge une inférence continue et en temps réel, aidant les équipes à détecter les problèmes rapidement et à maintenir la qualité des produits sans ralentir les opérations.
• Healthcare et imagerie médicale : Les prestataires de soins de santé et les laboratoires de diagnostic peuvent s'appuyer sur des modèles de vision pour analyser des images médicales comme des radiographies ou des scanners. Les endpoints dédiés offrent des performances fiables et constantes, ce qui est essentiel lors du traitement de données sensibles et de diagnostics urgents.
• Automatisation des entrepôts et logistique : Les grands entrepôts exploitent souvent plusieurs systèmes identiques, tels que des tapis roulants et des lignes de tri, agissant efficacement comme des répliques de la même configuration. Les modèles de vision par ordinateur peuvent surveiller chaque réplique pour détecter des problèmes comme des bourrages ou des colis mal routés. Les endpoints dédiés assurent une inférence cohérente sur toutes les répliques en temps réel.

Link to this sectionTransition de l'inférence partagée vers les endpoints dédiés#

L'un des avantages clés de la Ultralytics Platform est la simplicité de passer de l'inférence partagée aux endpoints dédiés à mesure que ton application se développe. Au lieu de changer d'outils ou de reconstruire ta configuration, tu peux passer à un déploiement prêt pour la production au sein du même environnement.

Après avoir testé ton modèle avec l'inférence partagée, passer à un endpoint dédié est une étape logique et simple. Tu peux déployer le même modèle sur un endpoint, choisir ta région et tes ressources de calcul préférées, et mettre à jour l'URL de l'endpoint dans ton application. L'intégration globale reste similaire, il y a donc peu ou pas de changement dans la manière dont tu envoies les requêtes ou gères les réponses.

Fig 4. Visualisation d'une URL d'endpoint dédié sur la Ultralytics Platform (Source)

Cela signifie que tu peux passer du test à la production en quelques clics. À mesure que ta charge de travail augmente ou que ton application nécessite des performances plus constantes, tu peux passer aux endpoints dédiés sans perturber ton flux de travail existant.

Pour en savoir plus sur le déploiement de modèles utilisant des endpoints dédiés sur la Ultralytics Platform, consulte la documentation officielle de la Ultralytics Platform.

Link to this sectionPoints clés#

L'inférence partagée est un excellent point de départ pour les tests et l'expérimentation, mais les charges de travail de production exigent plus de cohérence et de scalabilité. À mesure que les applications se développent, les endpoints dédiés offrent la performance et la fiabilité nécessaires pour soutenir une utilisation réelle. Cela en fait le meilleur choix pour la plupart des déploiements en production.

Rejoins notre communauté et explore notre référentiel GitHub pour en savoir plus sur les modèles de vision par ordinateur. Découvre des applications comme l'IA dans l'agriculture et la vision par ordinateur dans la robotique sur nos pages de solutions. Consulte nos options de licence et lance-toi avec la vision par IA.