Temps de latence de l'inférence

Pertinence de la latence d'inférence

Une faible latence d'inférence est essentielle pour une expérience utilisateur positive et la faisabilité de nombreuses applications d'IA. Dans les systèmes interactifs, tels que les chatbots ou les services de traduction en temps réel, une latence élevée entraîne des retards notables qui frustrent les utilisateurs. Pour les applications critiques telles que les véhicules autonomes ou les outils de diagnostic médical, même de petits retards peuvent avoir des conséquences importantes, affectant la sécurité et la prise de décision. Par conséquent, la compréhension, la mesure et l'optimisation de la latence d'inférence sont des aspects essentiels du déploiement efficace des modèles d'IA. Il s'agit d'une mesure distincte du débit, qui mesure le nombre d'inférences traitées par unité de temps ; une application peut nécessiter une faible latence (réponse individuelle rapide) même si le débit global n'est pas extrêmement élevé. Pour en savoir plus sur l'optimisation de ces différents aspects, consultez des guides tels que celui consacré aux modes de latence et de débit d'OpenVINO.

Applications dans le monde réel

L'importance d'une faible latence d'inférence est évidente dans divers domaines :

• Véhicules autonomes : Les voitures autonomes dépendent de la détection rapide des objets et de la compréhension de la scène pour naviguer en toute sécurité. Une faible latence permet au véhicule de réagir instantanément aux piétons, aux autres voitures ou aux obstacles inattendus, ce qui est primordial pour la sécurité. Les modèles YOLO d'Ultralytics sont souvent optimisés pour de telles tâches d'inférence en temps réel.
• IA interactive : les applications telles que les assistants virtuels(Amazon Alexa, Google Assistant) ou les services de traduction doivent traiter les entrées vocales ou textuelles et répondre de manière conversationnelle. Une latence élevée interrompt le flux d'interaction et dégrade l'expérience de l'utilisateur.
• Automatisation industrielle : Dans l'industrie manufacturière, les systèmes de vision par ordinateur effectuent des contrôles de qualité sur les chaînes de montage. Une faible latence permet d'identifier et d'éliminer rapidement les produits défectueux sans ralentir la production. Il s'agit souvent de déployer des modèles sur des appareils périphériques.
• Santé : L'IA qui analyse les images médicales (comme les tomodensitogrammes ou les radiographies) doit fournir des résultats rapidement afin d'améliorer la précision du diagnostic et la planification du traitement. Découvrez comment YOLO est utilisé pour la détection des tumeurs.
• Systèmes de sécurité : Les systèmes de surveillance en temps réel utilisent l'IA pour la détection des menaces (par exemple, l'identification des intrus ou des objets abandonnés). La faible latence permet des alertes et des réponses immédiates, comme dans un système d'alarme de sécurité.

Facteurs affectant la latence d'inférence

Plusieurs facteurs influencent la rapidité avec laquelle un modèle peut effectuer une inférence :

• Complexité du modèle : Les réseaux neuronaux (RN) plus grands et plus complexes nécessitent généralement plus de calculs, ce qui entraîne une latence plus élevée. Le choix de l'architecture joue un rôle important. Vous pouvez comparer différents modèles comme YOLOv10 vs YOLO11 pour voir les compromis possibles.
• Matériel : La puissance de traitement du matériel utilisé pour l'inférence est cruciale. Le matériel spécialisé comme les GPU, les TPU ou les accélérateurs d'IA dédiés(Google Edge TPUs, NVIDIA Jetson) peut réduire considérablement la latence par rapport aux CPU standard.
• Optimisation du logiciel : L'utilisation de moteurs d'inférence optimisés tels que NVIDIA TensorRT ou OpenVINO d'Intel peut améliorer considérablement les performances en optimisant le graphe du modèle et en exploitant les instructions spécifiques au matériel. Des frameworks comme PyTorch offrent également des outils d'optimisation. L'exportation de modèles dans des formats tels que ONNX facilite le déploiement sur différents moteurs.
• Taille du lot : Le traitement simultané de plusieurs entrées(batching) peut améliorer le débit global mais augmente souvent le temps de latence pour les inférences individuelles. Les applications en temps réel utilisent généralement une taille de lot de 1.
• Transfert de données : Le temps nécessaire pour transférer les données d'entrée dans le modèle et récupérer les résultats peut ajouter à la latence globale, en particulier dans les scénarios distribués ou d'informatique en nuage.
• Quantification et élagage : Des techniques telles que la quantification du modèle (réduction de la précision numérique) et l'élagage du modèle (suppression des paramètres redondants du modèle) peuvent réduire la taille du modèle et les besoins de calcul, diminuant ainsi la latence. Pour en savoir plus sur l'optimisation des modèles, consultez ce guide rapide.

La gestion de la latence d'inférence est un équilibre critique entre la précision du modèle, le coût de calcul et le temps de réponse, essentiel pour déployer des solutions d'IA efficaces gérées par des plateformes comme Ultralytics HUB. La compréhension des étapes d'un projet de vision par ordinateur inclut la planification de ces exigences de performance lors du déploiement du modèle.