Segmentation sémantique

La segmentation sémantique est une tâche fondamentale de la vision par ordinateur qui consiste à attribuer une étiquette de classe spécifique à chaque pixel d'une image. Contrairement à d'autres méthodes qui peuvent identifier des objets avec des boîtes ou attribuer une étiquette unique à une image entière, la segmentation sémantique crée une carte dense et parfaite au niveau des pixels des différentes catégories sémantiques présentes. Cela permet une compréhension riche et détaillée du contenu de l'image, en soulignant la forme et l'emplacement exacts de chaque catégorie, telle que "route", "ciel", "bâtiment" ou "personne". Il s'agit d'une technique essentielle dans les scènes où la compréhension du contexte et de la disposition est tout aussi importante que l'identification des objets individuels.

Modèles et outils

La segmentation sémantique emploie souvent des modèles d'apprentissage profond, en particulier des architectures dérivées des réseaux neuronaux convolutifs (CNN).

• Architectures : Parmi les premières architectures populaires, on peut citer les réseaux entièrement convolutifs (Fully Convolutional Networks - FCN), qui remplacent les couches entièrement connectées des réseaux de classification par des couches convolutives pour produire des cartes spatiales, et les réseaux U, qui utilisent une structure codeur-décodeur avec des connexions sautées, ce qui les rend particulièrement efficaces pour l'analyse d'images biomédicales. Parmi les autres architectures influentes, citons DeepLab, qui utilise des convolutions atrous (ou dilatées) pour contrôler la résolution des cartes de caractéristiques.
• Modèles modernes : Les modèles de pointe comme Ultralytics YOLO11 offrent également des capacités puissantes pour diverses tâches de segmentation, en équilibrant la vitesse et la précision pour les applications nécessitant une inférence en temps réel.
• Plateformes de formation : Des outils comme Ultralytics HUB offrent des plateformes pour gérer des ensembles de données tels que l'ensemble de données de segmentation COCO, largement utilisé, former des modèles personnalisés et explorer les options de déploiement de modèles.
• Cadres : Le développement utilise souvent des frameworks populaires comme PyTorch et TensorFlow. Des techniques telles que l'augmentation des données sont couramment utilisées pour améliorer la robustesse et la généralisation des modèles. Des bibliothèques libres comme OpenCV et scikit-image fournissent également des outils de traitement et d'analyse d'images qui complètent les flux de travail de segmentation.

Applications dans le monde réel

La compréhension détaillée de la scène fournie par la segmentation sémantique est cruciale dans de nombreux domaines :

• Véhicules autonomes : Pour qu'une voiture autonome puisse naviguer en toute sécurité, elle doit comprendre parfaitement son environnement. La segmentation sémantique est utilisée pour identifier les zones carrossables (route), les zones non carrossables (trottoirs, bâtiments) et l'emplacement des piétons, des cyclistes et des autres véhicules avec une précision au pixel près. Cela permet de planifier les trajets et de prendre des décisions plus sûres. Vous pouvez en savoir plus sur le rôle de l'IA dans les véhicules autonomes.
• Analyse d'images médicales : En médecine, la précision est primordiale. La segmentation sémantique permet de délimiter automatiquement les organes, les tumeurs, les lésions et d'autres structures anatomiques dans des images telles que les IRM et les tomodensitogrammes. Cela aide les radiologues à poser un diagnostic, à planifier un traitement et à suivre l'évolution d'une maladie. Découvrez comment l'IA est appliquée à l'imagerie médicale.
• Analyse d'images satellites : Pour les applications géospatiales, la segmentation sémantique est utilisée pour classer l'occupation des sols à partir d'images satellite. Cette méthode peut être utilisée pour la planification urbaine (identification des bâtiments, des routes et des espaces verts), la surveillance de l'environnement (suivi de la déforestation ou des masses d'eau) et l'agriculture de précision.
• Robotique : Les robots utilisent la segmentation sémantique pour comprendre leur environnement, ce qui leur permet de faire la différence entre les sols, les murs, les objets avec lesquels interagir et les obstacles à éviter. Cela est essentiel pour les tâches de navigation et de manipulation dans des environnements complexes tels que les entrepôts ou les maisons. En savoir plus sur l'intégration de la vision artificielle dans la robotique.

Distinctions essentielles par rapport à d'autres tâches

Il est important de différencier la segmentation sémantique des tâches connexes de vision par ordinateur:

• Segmentation des instances: Il s'agit de la tâche la plus étroitement liée. Bien qu'elles effectuent toutes deux une classification au niveau du pixel, la segmentation d'instance va plus loin en distinguant les instances individuelles d'une même classe d'objets. Par exemple, dans une image comportant trois voitures, la segmentation sémantique étiquetterait tous les pixels de la voiture simplement comme "voiture". En revanche, la segmentation par instance identifierait "voiture 1", "voiture 2" et "voiture 3" comme des objets distincts.
• Détection d'objets: Cette tâche permet d'identifier la présence et l'emplacement d'objets dans une image en traçant un cadre autour de chacun d'eux et en leur attribuant une étiquette de classe. Elle ne fournit pas d'informations sur la forme de l'objet ni sur les pixels qui lui appartiennent.
• Segmentation panoptique: Cette tâche peut être considérée comme une unification de la segmentation sémantique et de la segmentation d'instance. Elle vise à fournir une compréhension globale de la scène en attribuant une étiquette de classe à chaque pixel (comme la segmentation sémantique) tout en identifiant de manière unique chaque instance d'objet (comme la segmentation d'instance).