Inférence en temps réel

L'inférence en temps réel est le processus qui consiste à utiliser un modèle d'apprentissage machine (ML) formé pour faire des prédictions sur de nouvelles données en direct avec un délai minimal. Dans le contexte de l'IA et de la vision par ordinateur (VA), cela signifie que le système peut traiter des informations, comme un flux vidéo, et générer un résultat presque instantanément. L'objectif est de rendre le temps de latence de l'inférence suffisamment faible pour que les résultats soient immédiatement utiles à la prise de décision. Cette capacité est cruciale pour les applications où le temps est un facteur déterminant, transformant la façon dont les industries, de l'automobile aux soins de santé, tirent parti de l'IA.

Inférence en temps réel vs. Inférence par lots

Il est important de distinguer l'inférence en temps réel de l'inférence par lots. La différence essentielle réside dans la manière dont les données sont traitées.

• Inférence en temps réel : Traite les données au fur et à mesure qu'elles sont générées ou reçues, généralement une entrée ou un petit flux à la fois. La priorité est de minimiser le délai(latence) entre l'entrée et la sortie. Ceci est essentiel pour les systèmes interactifs et sensibles au temps.
• Inférence par lots : Elle consiste à collecter des données sur une période donnée et à les traiter en une seule fois dans le cadre d'un lot important. Cette approche donne la priorité à la maximisation du débit (la quantité de données traitées dans le temps) plutôt qu'à la minimisation de la latence. Le traitement par lots convient aux tâches non urgentes telles que la génération de rapports quotidiens ou l'analyse périodique de grands ensembles de données.

Bien que les deux utilisent un modèle formé pour faire des prédictions, leurs cas d'utilisation sont fondamentalement différents en fonction de l'urgence des résultats.

Applications dans le monde réel

La capacité de prendre des décisions instantanées permet une large gamme d'applications puissantes dans divers secteurs.

1. Systèmes autonomes : Dans les voitures autonomes, l'inférence en temps réel est une question de sécurité. Les modèles doivent détecter les objets pour identifier les piétons, les autres véhicules et les panneaux de signalisation en quelques millisecondes afin de naviguer en toute sécurité et d'éviter les collisions. De même, les drones et les robots s'appuient sur l'inférence pour la navigation et l'interaction avec leur environnement.
2. Fabrication intelligente : Sur une chaîne de production, les caméras équipées d'IA peuvent effectuer un contrôle qualité en temps réel. Un modèle comme Ultralytics YOLO11 peut détecter les défauts dans les produits se déplaçant sur un tapis roulant, ce qui permet de les éliminer immédiatement. Il s'agit là d'un élément essentiel de l'IA moderne dans la fabrication.
3. Soins de santé interactifs : Au cours d'une intervention chirurgicale, un modèle pourrait analyser une vidéo en direct provenant d'une caméra afin de guider le chirurgien en temps réel. Dans le cadre d'un diagnostic, l'analyse d'images médicales en temps réel peut aider les médecins à identifier plus rapidement les anomalies lors de scanners en direct.
4. Surveillance intelligente : Les systèmes de sécurité modernes utilisent l'inférence en temps réel pour analyser les flux vidéo et identifier les menaces potentielles, telles que les entrées non autorisées ou les colis abandonnés, déclenchant ainsi des alertes immédiates. Au-delà du simple enregistrement, il s'agit d'une surveillance active et intelligente.

Obtenir des performances en temps réel

L'exécution suffisamment rapide des modèles pour les applications informatiques en temps réel nécessite souvent une optimisation importante :

• Optimisation du modèle : Des techniques telles que la quantification du modèle (réduction de la précision des poids du modèle) et l'élagage du modèle (suppression des parties redondantes du modèle) réduisent la charge de calcul et l'utilisation de la mémoire.
• Accélération matérielle : L'utilisation de matériel spécialisé tel que les GPU, les TPU (Tensor Processing Units) ou les accélérateurs d'IA dédiés sur les appareils périphériques (par exemple, NVIDIA Jetson, Google Coral Edge TPU) peut accélérer considérablement les calculs. L'informatique périphérique elle-même est essentielle pour traiter les données localement avec un délai minimal.
• Moteurs d'inférence efficaces : Les bibliothèques logicielles et les moteurs d'exécution comme TensorRT, OpenVINO, ONNX Runtime, et les cadres comme PyTorch ou TensorFlow fournissent des chemins d'exécution optimisés pour les modèles entraînés. Un moteur d'inférence est spécifiquement conçu pour exécuter les modèles de manière efficace pour la prédiction.

Les modèles comme Ultralytics YOLO sont conçus dans un souci d'efficacité et de précision, ce qui les rend bien adaptés aux tâches de détection d'objets en temps réel. Des plateformes comme Ultralytics HUB fournissent des outils pour entraîner, optimiser (par exemple, exporter vers les formats ONNX ou TensorRT) et déployer des modèles, facilitant ainsi la mise en œuvre de solutions d'inférence en temps réel à travers diverses options de déploiement.