Les inférences en temps réel dans les solutions d'IA de vision ont un impact

Nous avons tous déjà été confrontés aux frustrations causées par une connexion internet lente. Imagine ce délai dans une situation critique, comme une voiture autonome devant réagir à un obstacle ou un médecin analysant un scanner vital. Quelques secondes de retard peuvent avoir des conséquences graves.

C'est là que l'inférence IA en temps réel fait toute la différence. Un traitement rapide et des prédictions instantanées permettent aux solutions de computer vision de traiter et de réagir immédiatement aux données visuelles. Ces décisions prises en une fraction de seconde améliorent la sécurité, l'efficacité et le confort au quotidien.

Prenons l'exemple d'un chirurgien effectuant une opération délicate avec une assistance robotisée. Chaque mouvement est contrôlé via une connexion haute vitesse, et le système de vision du robot traite le champ opératoire en temps réel, offrant au chirurgien un retour visuel instantané. Le moindre délai dans cette boucle de rétroaction pourrait entraîner des erreurs graves, mettant le patient en danger. C'est l'exemple parfait de l'importance des inférences en temps réel : il n'y a pas de place pour la latence.

Les inférences IA dans les applications réelles reposent sur trois concepts clés : les moteurs d'inférence (logiciel ou matériel exécutant efficacement les modèles IA), la latence d'inférence (le délai entre l'entrée et la sortie) et l'inférence en temps réel (la capacité du système IA à traiter et réagir avec un délai minimal).

Dans cet article, nous explorerons ces concepts fondamentaux et comment les modèles de vision par ordinateur tels qu'Ultralytics YOLO11 permettent des applications nécessitant des prédictions instantanées.

Link to this sectionQu'est-ce qu'une inférence IA ?#

Exécuter une inférence consiste à analyser de nouvelles données à l'aide d'un modèle IA entraîné pour faire une prédiction ou résoudre une tâche. Contrairement à l'entraînement, qui implique d'enseigner à un modèle en traitant de vastes quantités de données étiquetées, l'inférence se concentre sur la production de résultats rapides et précis en utilisant un modèle déjà entraîné.

Fig 1. Comprendre ce que sont les inférences.

Par exemple, dans la conservation de la faune, les AI camera utilisent des modèles de vision par ordinateur pour identifier et classifier les animaux en temps réel. Lorsqu'une caméra détecte un mouvement, le modèle IA reconnaît instantanément s'il s'agit d'un cerf, d'un prédateur ou même d'un braconnier, aidant les chercheurs à suivre les populations animales et à protéger les espèces menacées sans intervention humaine. Cette identification rapide rend la surveillance en temps réel et les réponses plus rapides aux menaces potentielles réalisables.

Link to this sectionComprendre les moteurs d'inférence#

Un modèle de machine learning entraîné n'est pas toujours prêt à être déployé sous sa forme brute. Un inference engine est un outil logiciel ou matériel spécialisé conçu pour exécuter efficacement les modèles de machine learning et les optimiser pour un déploiement réel. Il utilise des optimization techniques comme la compression de modèle, la quantification et les transformations de graphe pour améliorer les performances et réduire la consommation de ressources, rendant le modèle déployable dans divers environnements.

À la base, un moteur d'inférence se concentre sur la réduction de la charge computationnelle, la minimisation de la latence et l'amélioration de l'efficacité pour permettre des prédictions rapides et précises. Une fois optimisé, le moteur exécute le modèle sur de nouvelles données, lui permettant de générer des inférences en temps réel de manière efficace. Cette optimisation garantit que les modèles IA peuvent fonctionner correctement à la fois sur des serveurs cloud haute performance et sur des appareils en périphérie (edge) aux ressources limitées comme les smartphones, les appareils IoT et les systèmes embarqués.

Link to this sectionProblèmes causés par la latence d'inférence#

Inference latency est le délai entre le moment où un système IA reçoit des données d'entrée (comme une image d'une caméra) et celui où il produit une sortie (comme la détection d'objets dans l'image). Même un faible délai peut impacter significativement les performances et l'utilisabilité des applications IA en temps réel.

La latence d'inférence se produit en trois étapes clés :

• Temps de prétraitement : Le temps nécessaire pour préparer les données d'entrée avant de les injecter dans le modèle. Cela inclut le redimensionnement des images pour correspondre aux dimensions d'entrée du modèle, la normalisation des valeurs de pixels pour une meilleure précision, et la conversion de formats (par exemple, RVB vers niveaux de gris ou vidéo vers séquences d'images).
• Temps de calcul : Le temps réel que le modèle prend pour effectuer l'inférence. Cela implique des opérations comme les calculs couche par couche dans les réseaux profonds, les multiplications de matrices, les convolutions et le transfert de données entre la mémoire et les unités de traitement.
• Temps de post-traitement : Le temps nécessaire pour convertir les sorties brutes du modèle en résultats exploitables. Cela peut inclure le dessin de bounding boxes en détection d'objets, le filtrage des faux positifs en reconnaissance d'image, ou l'application de seuils en détection d'anomalies.

La latence d'inférence est critique dans les applications en temps réel. Par exemple, dans la détection automatique de défauts sur une chaîne d'assemblage, la vision par ordinateur peut être utilisée pour inspecter les produits au fur et à mesure qu'ils avancent sur le tapis roulant.

Le système doit identifier et signaler rapidement les défauts avant que les produits n'atteignent l'étape suivante. Si le modèle prend trop de temps à traiter les images, les articles défectueux pourraient ne pas être détectés à temps, entraînant un gaspillage de matériaux, des retouches coûteuses ou des produits défectueux arrivant jusqu'aux clients. En réduisant la latence, les fabricants peuvent améliorer le contrôle qualité, augmenter l'efficacité et réduire les pertes.

Link to this sectionComment réduire la latence d'inférence#

Maintenir une latence d'inférence minimale est essentiel dans de nombreuses applications de vision par ordinateur. Diverses techniques peuvent être utilisées pour y parvenir. Discutons de certaines des techniques les plus courantes pour réduire la latence d'inférence.

Link to this sectionÉlagage de modèle (Model pruning)#

Model pruning simplifie un réseau neuronal en supprimant les connexions (poids) inutiles, le rendant plus petit et plus rapide. Ce processus réduit la charge computationnelle du modèle, améliorant la vitesse sans trop affecter la précision.

En ne conservant que les connexions les plus importantes, l'élagage assure une inférence efficace et de meilleures performances, surtout sur les appareils avec une puissance de traitement limitée. Il est largement utilisé dans les applications en temps réel comme l'IA mobile, la robotique et l'edge computing pour améliorer l'efficacité tout en maintenant la fiabilité.

Fig 2. Éliminer les connexions moins efficaces via l'élagage de modèle.

Link to this sectionQuantification de modèle#

Model quantization est une technique qui permet aux modèles IA de s'exécuter plus rapidement et d'utiliser moins de mémoire en simplifiant les nombres utilisés pour les calculs. Normalement, ces modèles fonctionnent avec des nombres à virgule flottante 32 bits, qui sont très précis mais nécessitent beaucoup de puissance de calcul. La quantification réduit ces nombres à des entiers 8 bits, plus faciles à traiter et occupant moins d'espace.

Fig 3. Utiliser la quantification de modèle pour convertir les valeurs à virgule flottante en représentations entières.

Link to this sectionUtiliser des modèles efficaces#

La conception d'un modèle IA a un impact majeur sur la rapidité avec laquelle il peut effectuer des prédictions. Des modèles comme YOLO11, conçus pour une inférence efficace, sont idéaux pour les applications où la vitesse de traitement est critique.

Lorsque tu construis une solution IA, il est important de choisir le bon modèle en fonction des ressources disponibles et des besoins de performance. Si tu commences avec un modèle trop lourd, tu risques de rencontrer des problèmes comme des temps de traitement lents, une consommation d'énergie plus élevée et des difficultés de déploiement sur des appareils aux ressources limitées. Un modèle léger garantit des performances fluides, surtout pour les applications en temps réel et en périphérie (edge).

Link to this sectionVitesse vs précision : optimiser les inférences en temps réel#

Bien qu'il existe diverses techniques pour réduire la latence, un élément clé des real-time inferences est l'équilibre entre vitesse et précision. Rendre les modèles plus rapides ne suffit pas ; la vitesse d'inférence doit être optimisée sans compromettre la précision. Un système qui produit des prédictions rapides mais incorrectes est inefficace. C'est pourquoi des tests approfondis sont essentiels pour s'assurer que les modèles fonctionnent bien dans des situations réelles. Un système qui semble rapide lors des tests mais échoue dans des conditions réelles n'est pas réellement optimisé.

Link to this sectionApplications de vision IA tirant parti des inférences en temps réel#

Ensuite, passons en revue quelques applications réelles où l'inférence en temps réel transforme les industries en permettant des réponses instantanées aux entrées visuelles.

Link to this sectionSystèmes de caisses automatiques dans les magasins de détail#

Des modèles de vision par ordinateur comme YOLO11 peuvent aider à améliorer les systèmes de caisses automatiques en rendant la reconnaissance des articles plus rapide et plus précise. La prise en charge par YOLO11 de diverses computer vision tasks comme la détection d'objets et la segmentation d'instances permet d'identifier les produits même si les codes-barres sont manquants ou endommagés. La vision par ordinateur peut réduire le besoin de saisie manuelle et accélérer le processus de paiement.

Au-delà de l'identification des produits, la vision par ordinateur peut également être intégrée dans les systèmes de caisses automatiques pour vérifier les prix, prévenir la fraude et améliorer la commodité client. Les caméras assistées par IA peuvent distinguer automatiquement des produits similaires et détecter les comportements suspects à la caisse. Cela inclut l'identification des « non-scans », où un client ou un caissier oublie involontairement un article, et des tentatives de fraude plus délibérées, comme le « changement de produit », où un code-barres moins cher est placé sur un article plus onéreux.

Fig 4. L'IA peut améliorer les caisses automatiques.

Un excellent exemple est Kroger, un important détaillant américain, qui a intégré la vision par ordinateur et l'IA dans ses systèmes de caisses automatiques. Grâce à l'analyse vidéo en temps réel, Kroger a pu corriger automatiquement plus de 75 % des erreurs de caisse, améliorant à la fois l'expérience client et les opérations en magasin.

Link to this sectionContrôle qualité par vision par ordinateur#

L'inspection manuelle des inspecting products pour le contrôle qualité peut être lente et pas toujours précise. C'est pourquoi de plus en plus de fabricants passent à des flux de travail d'inspection visuelle utilisant la vision par ordinateur pour détecter les défauts plus tôt dans le processus de production.

Les caméras haute résolution et l'IA visuelle peuvent repérer de minuscules défauts que les humains pourraient manquer, et des modèles comme YOLO11 peuvent aider aux contrôles qualité en temps réel, au tri et au comptage pour garantir que seuls des produits parfaits atteignent les clients. L'automatisation de ce processus permet d'économiser du temps, de réduire les coûts et de diminuer le gaspillage, rendant la production plus fluide et plus efficace.

Fig 5. Un exemple d'utilisation de YOLO11 pour compter des produits sur une ligne d'assemblage.

Link to this sectionPoints clés#

L'inférence en temps réel aide les modèles IA à prendre des décisions instantanées, ce qui est crucial dans de nombreuses industries. Qu'il s'agisse d'une voiture autonome évitant un accident, d'un médecin analysant rapidement des scanners médicaux, ou d'une usine détectant des défauts de produits, des réponses IA rapides et précises font une grande différence.

En améliorant la vitesse et l'efficacité des modèles IA, nous pouvons créer des systèmes plus intelligents et plus fiables qui fonctionnent de manière transparente dans des situations réelles. À mesure que la technologie progresse, les solutions IA en temps réel continueront de façonner l'avenir, rendant les processus quotidiens plus rapides, plus sûrs et plus efficaces.

Pour en savoir plus, visite notre GitHub repository et échange avec our community. Explore les innovations dans des secteurs comme AI in self-driving cars et computer vision in agriculture sur nos pages de solutions. Découvre our licensing options et donne vie à tes projets de vision IA.