Terminaux d'inférence dédiés vs inférence partagée pour le déploiement

Récemment, nous avons présenté la Ultralytics Platform, une solution de bout en bout qui rassemble l'ensemble du flux de travail de vision par ordinateur en un seul endroit, de la préparation des jeux de données et de l'entraînement des modèles à l'inférence, au déploiement et à la surveillance.

Basée sur les retours de la communauté de vision par ordinateur, cette plateforme est conçue pour simplifier chaque étape du développement en offrant des fonctionnalités intégrées qui soutiennent tout le cycle de vie des applications d'IA visuelle.

Par exemple, une fois qu'un modèle est entraîné, l'étape suivante consiste à le déployer afin qu'il puisse être utilisé pour exécuter des inférences et faire des prédictions dans des applications du monde réel. La plateforme simplifie ce processus en proposant plusieurs options de déploiement.

Tu peux exporter des modèles pour les exécuter dans ton propre environnement, utiliser l'inférence partagée pour des tests rapides, ou déployer des endpoints dédiés pour des applications scalables prêtes pour la production. Chacune de ces options de déploiement te permet d'exécuter l'inférence IA, mais elles sont conçues pour des étapes et des cas d'usage différents.

Fig 1. La Ultralytics Platform permet un déploiement évolutif et mondial de modèles de vision par IA (Source)

L'exportation de modèle te donne un contrôle total pour exécuter des modèles dans ta propre infrastructure, l'inférence partagée simplifie les tests et l'expérimentation sans configuration, et les endpoints dédiés sont conçus pour des charges de travail de production fiables et à grande échelle.

Au premier abord, l'inférence partagée et les endpoints dédiés peuvent sembler assez similaires. Tous deux te permettent d'envoyer des requêtes API à ton modèle et de recevoir des prédictions structurées, facilitant ainsi l'intégration de l'IA visuelle dans tes applications.

Cependant, à mesure que tes charges de travail augmentent et que tes applications de vision par ordinateur commencent à traiter des requêtes d'inférence en temps réel, les différences entre ces options deviennent plus importantes. Dans cet article, nous examinerons de plus près l'inférence partagée et les endpoints dédiés, comment ils se comparent, quand utiliser chacun, et pourquoi les endpoints dédiés deviennent le meilleur choix à mesure que tes applications grandissent.

Un aperçu du déploiement utilisant l'inférence partagée#

L'inférence partagée est un moyen simple d'exécuter des inférences d'IA sur tes modèles sans configurer d'infrastructure ni te soucier des types de GPU, de l'intégration des frameworks ou de la configuration du runtime. Une fois ton modèle entraîné ou affiné, tu peux l'utiliser pour faire des prédictions directement via la plateforme.

Dans cette configuration, ton modèle s'exécute sur des ressources de calcul partagées et multi-locataires dans quelques régions centrales, telles que les États-Unis, l'Europe et l'Asie-Pacifique. Les requêtes sont automatiquement routées vers les services disponibles, tu n'as donc pas besoin de configurer des instances GPU ou des environnements de runtime. Tout est géré pour toi, ce qui facilite tes débuts.

Lorsque tu utilises l'inférence partagée, tu envoies des requêtes à ton modèle via une REST API en utilisant des outils comme Python ou CLI, et tu reçois des sorties JSON structurées, telles que des objets détectés, des scores de confiance et d'autres détails de prédiction. Cela rend le test des modèles et leur intégration dans des applications transparents.

Comme le système est partagé, il est conçu pour le développement, les tests et un usage léger. Il fonctionne bien pour valider des prédictions et construire des intégrations préliminaires. En même temps, les performances peuvent varier en fonction de la charge du système, et l'utilisation est limitée à 20 requêtes par minute par clé API, ce qui le rend moins adapté aux charges de travail de production à haut débit.

Dans l'ensemble, l'inférence partagée est mieux adaptée au développement en phase initiale, où l'accent est mis sur la compréhension et l'amélioration de ton modèle avant de passer à des applications à plus grande échelle.

Déploie des modèles globalement en utilisant des endpoints dédiés#

Les endpoints dédiés sont des services d'inférence à locataire unique où tes modèles de vision par IA s'exécutent sur des ressources de calcul isolées. Au lieu de partager l'infrastructure, chaque endpoint possède son propre runtime avec des ressources configurables telles que le CPU et la mémoire, ce qui te donne plus de contrôle sur les performances.

Lorsque tu déploies un modèle en tant qu'endpoint dédié, une URL d'API unique lui est attribuée et il utilise ta clé d'API pour l'authentification, ce qui facilite son intégration dans les applications. Ces endpoints peuvent être déployés dans 43 régions mondiales, ce qui te permet d'exécuter des inférences au plus près de tes utilisateurs et de réduire la latence.

Fig 2. Tu peux déployer des endpoints dédiés dans 43 régions mondiales (Source)

L'un des avantages clés est l'autoscaling. Les endpoints s'ajustent automatiquement en fonction des requêtes entrantes, montant en charge pour traiter un trafic plus élevé et descendant lorsque la demande diminue. Avec le passage à zéro (scale-to-zero) activé par défaut, les endpoints peuvent s'éteindre lorsqu'ils sont inactifs et redémarrer si nécessaire, aidant à optimiser l'utilisation des ressources.

En d'autres termes, les endpoints dédiés sont conçus pour les charges de travail de production. Ils offrent une faible latence constante, un débit plus élevé et une plus grande fiabilité par rapport à l'inférence partagée.

De plus, les endpoints dédiés n'ont pas de limites de débit. Les requêtes vont directement vers ton endpoint, donc le volume de trafic que tu peux gérer dépend de ta configuration et de ton scaling plutôt que de limites fixes.

En complément, le monitoring intégré, les logs, les vérifications de santé, ainsi qu'un comportement prévisible du runtime et du démarrage facilitent le suivi des performances et le maintien de déploiements stables sur tous les plans. Sur le plan Gratuit, les démarrages à froid prennent généralement entre 5 et 45 secondes, tandis que les endpoints du plan Pro restent actifs, ce qui permet des performances d'inférence plus rapides et plus prévisibles.

En clair, les endpoints dédiés sont idéaux pour les applications d'IA visuelle en temps réel qui nécessitent une inférence fiable, scalable et haute performance.

Inférence partagée vs endpoints dédiés : Différences fondamentales#

Voici un aperçu plus détaillé de la comparaison entre l'inférence partagée et les endpoints dédiés :

• Latence : La latence peut varier dans les environnements partagés en raison du partage des ressources, tandis que les endpoints dédiés fournissent des réponses plus cohérentes et à faible latence.
• Régions : L'inférence partagée est disponible dans quelques régions (US, EU, AP), alors que les endpoints dédiés prennent en charge le déploiement dans 43 régions mondiales.
• Scalabilité : La scalabilité n'est pas configurable avec l'inférence partagée, alors que les endpoints dédiés s'adaptent automatiquement en fonction du trafic entrant.
• Limites de débit : L'inférence partagée est soumise à des limites de débit (20 requêtes ou appels API par minute par clé API), tandis que les endpoints dédiés n'ont pas de limites de débit de plateforme.
• Tarification : L'inférence partagée est incluse sans coût supplémentaire pour les tests et le développement, tandis que les endpoints dédiés offrent plus de contrôle et de scalabilité, avec une utilisation dépendant de la configuration des ressources et des besoins de déploiement.

Pourquoi les endpoints dédiés sont meilleurs pour les charges de travail de production#

À mesure que les applications d'IA et de machine learning passent des tests à une utilisation réelle, la performance, la scalabilité et la fiabilité deviennent essentielles. C'est pourquoi les endpoints dédiés offrent des avantages clairs par rapport à l'inférence partagée.

Avec des endpoints dédiés, ton modèle pré-entraîné ou personnalisé s'exécute sur ses propres ressources de calcul, donc les performances ne sont pas affectées par les autres utilisateurs. Cela aide à maintenir une latence faible et constante, ce qui est important pour les applications temps réel comme l'analyse vidéo et les systèmes de surveillance.

Fig 3. Un aperçu du déploiement à l'aide d'un endpoint d'inférence dédié (Source)

Par exemple, pense à un système d'analyse de vente au détail traitant des flux de caméras en direct dans plusieurs magasins. En déployant des endpoints dans 43 régions mondiales, l'inférence peut s'exécuter au plus près de chaque magasin, réduisant la latence et améliorant les temps de réponse.

Avec l'inférence partagée, où les ressources sont partagées et les régions limitées, les performances peuvent varier pendant les périodes d'activité intense.

Les endpoints dédiés peuvent également gérer un trafic plus élevé et scaler automatiquement en fonction de la demande. Avec le monitoring intégré, les logs et les vérifications de santé, ils offrent des performances plus prévisibles, ce qui en fait un choix approprié pour les charges de travail IA continues et à grande échelle.

Où l'inférence partagée s'intègre dans le flux de travail d'IA visuelle#

Alors que tu explores les différences entre l'inférence partagée et les endpoints dédiés, tu te demandes peut-être quelle est la place de l'inférence partagée dans le flux de travail global de vision par ordinateur.

Reprenons l'exemple de l'analyse de vente au détail. Avant de déployer une solution de vision dans plusieurs magasins, les équipes doivent généralement tester ses performances sur des données réelles et l'affiner en fonction de ces résultats.

L'inférence partagée simplifie ce processus en te permettant d'envoyer des échantillons d'images ou de vidéos provenant des caméras des magasins et de vérifier rapidement les prédictions sans configurer d'infrastructure. C'est particulièrement utile pour tester le comportement du modèle, déboguer les mauvaises prédictions et valider les résultats dans différentes conditions, comme les changements de luminosité ou la disposition des magasins.

En itérant de cette manière, les équipes peuvent améliorer la précision et la fiabilité du modèle avant de passer à la production. Une fois que le modèle fonctionne bien dans ces scénarios de test, il peut ensuite être déployé sur des endpoints dédiés pour une utilisation en temps réel sur plusieurs sites.

L'inférence partagée peut également bien fonctionner pour des applications avec une utilisation faible ou irrégulière. Par exemple, un petit magasin de détail pourrait l'utiliser pour analyser occasionnellement le flux de clients ou revoir l'activité des clients à des moments spécifiques, sans avoir besoin d'un déploiement totalement dimensionné. Dans ces cas, cela fournit un moyen simple et rentable d'exécuter l'inférence à la demande.

Cas d'utilisation réels des endpoints dédiés#

À mesure que les applications IA dépassent le stade des tests, le choix du déploiement commence à impacter directement la performance, la scalabilité et l'expérience utilisateur. Les endpoints dédiés peuvent être largement utilisés dans tous les secteurs car ils offrent des performances stables, une faible latence et la capacité de gérer des charges de travail à grande échelle.

Voici quelques cas d'utilisation courants qui montrent comment les endpoints dédiés peuvent être utilisés dans des applications réelles :

• Commerce de détail et analyse vidéo : Une chaîne de magasins peut utiliser la vision par ordinateur pour suivre les mouvements des clients, identifier les produits populaires et surveiller l'activité du magasin en temps réel. Les endpoints dédiés garantissent une inférence rapide et cohérente dans plusieurs emplacements de magasins, même pendant les heures de pointe.
• Fabrication et contrôle qualité : Sur une ligne de production, les modèles peuvent détecter les défauts ou les anomalies au fur et à mesure que les produits progressent dans le système. Les endpoints dédiés prennent en charge une inférence continue en temps réel, aidant les équipes à détecter rapidement les problèmes et à maintenir la qualité des produits sans ralentir les opérations.
• Santé et imagerie médicale : Les prestataires de soins de santé et les laboratoires de diagnostic peuvent s'appuyer sur des modèles de vision pour analyser des images médicales telles que des radiographies ou des examens. Les endpoints dédiés offrent des performances fiables et cohérentes, ce qui est essentiel lors de la manipulation de données sensibles et de diagnostics urgents.
• Automatisation des entrepôts et logistique : Les grands entrepôts exploitent souvent plusieurs systèmes identiques, tels que des tapis roulants et des lignes de tri, agissant efficacement comme des répliques de la même configuration. Les modèles de vision par ordinateur peuvent surveiller chaque réplique pour détecter des problèmes comme des bourrages ou des colis mal routés. Les endpoints dédiés assurent une inférence cohérente sur toutes les répliques en temps réel.

Transition de l'inférence partagée vers les endpoints dédiés#

L'un des avantages clés de la Ultralytics Platform est la simplicité de passer de l'inférence partagée aux endpoints dédiés à mesure que ton application se développe. Au lieu de changer d'outils ou de reconstruire ta configuration, tu peux passer à un déploiement prêt pour la production au sein du même environnement.

Après avoir testé ton modèle avec l'inférence partagée, passer à un endpoint dédié est une étape logique et simple. Tu peux déployer le même modèle sur un endpoint, choisir ta région et tes ressources de calcul préférées, et mettre à jour l'URL de l'endpoint dans ton application. L'intégration globale reste similaire, il y a donc peu ou pas de changement dans la manière dont tu envoies les requêtes ou gères les réponses.

Fig 4. Affichage de l'URL d'un endpoint dédié sur la Ultralytics Platform (Source)

Cela signifie que tu peux passer du test à la production en quelques clics. À mesure que ta charge de travail augmente ou que ton application nécessite des performances plus constantes, tu peux passer aux endpoints dédiés sans perturber ton flux de travail existant.

Pour en savoir plus sur le déploiement de modèles à l'aide d'endpoints dédiés sur la Ultralytics Platform, consulte la documentation officielle de la Ultralytics Platform.

Points clés#

L'inférence partagée est un excellent point de départ pour les tests et l'expérimentation, mais les charges de travail de production exigent plus de cohérence et de scalabilité. À mesure que les applications se développent, les endpoints dédiés offrent la performance et la fiabilité nécessaires pour soutenir une utilisation réelle. Cela en fait le meilleur choix pour la plupart des déploiements en production.

Rejoins notre communauté et explore notre dépôt GitHub pour en savoir plus sur les modèles de vision par ordinateur. Découvre des applications telles que l'IA en agriculture et la vision par ordinateur en robotique sur nos pages de solutions. Consulte nos options de licence et commence à utiliser l'IA de vision.