Explorer comment fonctionnent les applications de vision par ordinateur

Quand nous avons exploré l'history of computer vision models, nous avons vu comment la computer vision a évolué et le chemin qui a mené aux modèles de vision avancés que nous avons aujourd'hui. Les modèles modernes comme Ultralytics YOLOv8 prennent en charge plusieurs computer vision tasks et sont utilisés dans diverses applications passionnantes.

Dans cet article, nous allons examiner les bases de la vision par ordinateur et des modèles de vision. Nous couvrirons leur fonctionnement et leurs diverses applications dans de nombreux secteurs. Les innovations en vision par ordinateur sont partout, façonnant silencieusement notre monde. Découvrons-les une par une !

Qu'est-ce que la vision par ordinateur ?#

L'intelligence artificielle (IA) est un terme générique qui englobe de nombreuses technologies visant à reproduire une partie de l'intelligence humaine. La vision par ordinateur est l'un de ces sous-domaines de l'IA. La vision par ordinateur se concentre sur le fait de donner aux machines des yeux capables de voir, d'observer et de comprendre leur environnement.

Tout comme la vision humaine, les solutions de vision par ordinateur visent à distinguer des objets, à calculer des distances et à détecter des mouvements. Cependant, contrairement aux humains, qui possèdent toute une vie d'expériences pour les aider à voir et à comprendre, les ordinateurs s'appuient sur de vastes quantités de données, des caméras haute définition et des algorithmes complexes.

Fig 1. Comparaison entre la vision humaine et la vision par ordinateur.

Les systèmes de vision par ordinateur peuvent traiter et analyser des données visuelles telles que des images et des vidéos avec une vitesse et une précision incroyables. La capacité d'analyser rapidement et précisément de grandes quantités d'informations visuelles fait de la vision par ordinateur un outil puissant dans divers secteurs, allant de manufacturing à healthcare.

Les modèles de vision prennent en charge diverses tâches de vision par ordinateur#

Les modèles de vision par ordinateur sont au cœur de toute application de vision par ordinateur. Ce sont essentiellement des algorithmes de calcul alimentés par des techniques d'apprentissage profond conçus pour donner aux machines la capacité d'interpréter et de comprendre l'information visuelle. Les modèles de vision permettent des tâches cruciales de vision par ordinateur allant de image classification à object detection. Examinons de plus près certaines de ces tâches et leurs cas d'usage plus en détail.

Classification d'images#

Image classification consiste à catégoriser et étiqueter des images dans des classes ou catégories prédéfinies. Un modèle de vision comme YOLOv8 peut être entraîné sur de grands datasets d'images étiquetées. Pendant l'entraînement, le modèle apprend à reconnaître les motifs et les caractéristiques associés à chaque classe. Une fois entraîné, il peut prédire la catégorie de nouvelles images inédites en analysant leurs caractéristiques et en les comparant aux motifs appris.

Fig 2. Un exemple de classification d'images. (source : towardsdatascience.com)

Il existe différents types de classification d'images. Par exemple, lorsque vous traitez des medical images, vous pouvez utiliser la classification binaire pour diviser les images en deux groupes, comme sain ou malade. Un autre type est la classification multiclasse. Elle peut aider à classer des images dans de nombreux groupes, comme classifying different animals on a farm comme les porcs, les chèvres et les vaches. Ou, disons que vous souhaitez classer les animaux en groupes et sous-groupes, comme classer les animaux en mammifères et oiseaux, puis plus avant en espèces telles que les lions, les tigres, les aigles et les moineaux ; la classification hiérarchique serait la meilleure option.

Détection d'objets#

La détection d'objets est le processus d'identification et de localisation d'objets dans des images et des cadres vidéo à l'aide de la vision par ordinateur. Elle se compose de deux tâches : la localisation d'objets, qui dessine des boîtes englobantes (bounding boxes) autour des objets, et la classification d'objets, qui identifie la catégorie de chaque objet. Sur la base des annotations de boîtes englobantes, un modèle de vision peut apprendre à reconnaître les motifs et caractéristiques spécifiques à chaque catégorie d'objet et prédire la présence et l'emplacement de ces objets dans de nouvelles images inédites.

Fig 3. Détection d'objets par YOLOv8 utilisée pour détecter des joueurs sur un terrain de football.

La détection d'objets a de nombreux cas d'usage dans différents secteurs, de sports à la biologie marine. Par exemple, dans retail, la technologie Amazon’s Just Walk Out utilise la détection d'objets pour automatiser le paiement en identifiant les articles que les clients ramassent. Une combinaison de vision par ordinateur et de données de capteurs permet aux clients de prendre leurs articles et de partir sans faire la queue.

Voici un aperçu plus détaillé de son fonctionnement :

• Les caméras montées au plafond capturent les mouvements des clients dans le magasin, et ces images vidéo sont traitées en temps réel par des modèles de vision.
• La détection d'objets est utilisée pour identifier le produit exact qu'un client ramasse et place dans son panier afin de mettre à jour son panier virtuel en conséquence.
• Les capteurs de poids sur les étagères améliorent la précision en détectant le retrait ou le remplacement d'un article.
• Au moment où le client sort du magasin, la détection d'objets et la technologie facial recognition peuvent être utilisées pour confirmer que le client est parti, et ses détails de paiement, comme une carte de crédit, peuvent être utilisés pour le facturer automatiquement.

Segmentation sémantique et d'instance#

La segmentation sémantique et instance segmentation sont des tâches de vision par ordinateur qui aident à partitionner les images en segments significatifs. La segmentation sémantique classe les pixels en fonction de leur signification sémantique et traite tous les objets d'une catégorie comme une entité unique portant la même étiquette. Elle convient pour étiqueter des objets inénombrables comme "le ciel" ou "l'océan" ou des groupes comme "les feuilles" ou "l'herbe".

La segmentation d'instance, en revanche, peut distinguer différentes instances de la même classe en assignant une étiquette unique à chaque objet détecté. Tu peux utiliser la segmentation d'instance pour segmenter des objets dénombrables où le nombre et l'indépendance des objets sont importants. Cela permet une identification et une différenciation plus précises.

Fig 4. Un exemple de segmentation sémantique et d'instance.

Nous pouvons comprendre le contraste entre la segmentation sémantique et la segmentation d'instances plus clairement avec un exemple lié à self-driving cars. La segmentation sémantique est idéale pour les tâches qui nécessitent de comprendre le contenu d'une scène et peut être utilisée dans les véhicules autonomes pour classer les caractéristiques sur la route, comme les passages pour piétons et les panneaux de signalisation. Pendant ce temps, la segmentation d'instances peut être utilisée dans les véhicules autonomes pour identifier entre des piétons, des véhicules et des obstacles individuels.

Estimation de pose#

Pose estimation est une tâche de vision par ordinateur axée sur la détection et le suivi des points clés des postures d'un objet dans des images ou des vidéos. Elle est le plus couramment utilisée pour l'estimation de la pose humaine, avec des points clés incluant des zones comme les épaules et les genoux. Estimer la pose d'un humain nous aide à comprendre et à reconnaître les actions et les mouvements qui sont essentiels pour diverses applications.

Fig 5. Un exemple d'estimation de pose utilisant YOLOv8.

L'estimation de pose peut être utilisée dans le sport pour analyser la façon dont les athlètes se déplacent. La NBA utilise l'estimation de pose pour étudier les mouvements et les positions des joueurs pendant le match. En suivant les points clés comme les épaules, les coudes, les genoux et les chevilles, l'estimation de pose fournit des informations détaillées sur les mouvements des joueurs. Ces informations aident les entraîneurs à développer de meilleures stratégies, à optimiser les programmes d'entraînement et à effectuer des ajustements en temps réel pendant les matchs. De plus, les données peuvent aider à surveiller la fatigue et le risque de blessure des joueurs pour améliorer leur santé et leurs performances globales.

Détection d'objets par boîtes englobantes orientées#

Oriented Bounding Boxes Object Detection (OBB) utilise des rectangles pivotés pour identifier et localiser précisément des objets dans une image. Contrairement aux boîtes englobantes standard qui s'alignent sur les axes de l'image, les OBB pivotent pour correspondre à l'orientation de l'objet. Cela les rend particulièrement utiles pour les objets qui ne sont pas parfaitement horizontaux ou verticaux. Elles sont excellentes pour identifier précisément et isoler des objets pivotés afin d'éviter les superpositions dans des environnements encombrés.

Fig 6. Un exemple de détection par boîte englobante orientée sur une image aérienne de bateaux utilisant YOLOv8.

Dans la surveillance maritime, l'identification et le suivi des navires sont essentiels pour la sécurité et la gestion des ressources. La détection OBB peut être utilisée pour une localisation précise des navires, même lorsqu'ils sont densément regroupés ou orientés à divers angles. Elle aide à surveiller les voies de navigation, à gérer le trafic maritime et à optimiser les opérations portuaires. Elle peut également contribuer à la réponse aux catastrophes en identifiant et en évaluant rapidement les dommages causés aux navires et aux infrastructures après des événements tels que des ouragans ou des oil spills.

Suivi d'objets#

Jusqu'à présent, nous avons discuté des tâches de vision par ordinateur qui traitent des images. Object tracking est une tâche de vision par ordinateur qui peut suivre un objet tout au long des images d'une vidéo. Elle commence par identifier l'objet dans la première image à l'aide d'algorithmes de détection, puis suit continuellement sa position au fur et à mesure qu'il se déplace dans la vidéo. Le suivi d'objets implique des techniques telles que la détection d'objets, l'extraction de caractéristiques et la prédiction de mouvement pour maintenir la précision du suivi.

Fig 7. Utilisation de YOLOv8 pour suivre des poissons.

Les modèles de vision comme YOLOv8 peuvent être utilisés pour track fish in marine biology. À l'aide de caméras sous-marines, les chercheurs peuvent surveiller les mouvements et les comportements des poissons dans leurs habitats naturels. Le processus commence par la détection de poissons individuels dans les premières images, puis suit leurs positions tout au long de la vidéo. Le suivi des poissons aide les scientifiques à comprendre les schémas de migration, les comportements sociaux et les interactions avec l'environnement. Il soutient également des pratiques de pêche durables en fournissant des informations sur la distribution et l'abondance des poissons.

Un dernier regard sur la vision par ordinateur#

La vision par ordinateur change activement notre façon d'utiliser la technologie et d'interagir avec le monde. En utilisant des modèles d'apprentissage profond et des algorithmes complexes pour comprendre les images et les vidéos, la vision par ordinateur aide les secteurs à rationaliser de nombreux processus. Les tâches de vision par ordinateur comme la détection d'objets et le suivi d'objets permettent de créer des solutions qui n'avaient jamais été imaginées auparavant. Alors que la technologie de vision par ordinateur continue de s'améliorer, l'avenir réserve encore bien d'autres applications innovantes !

Apprenons et grandissons ensemble ! Explore notre dépôt GitHub pour voir nos contributions à l'IA. Découvre comment nous redéfinissons des industries telles que les voitures autonomes et l'agriculture grâce à l'IA. 🚀