Segmentation sémantique

La segmentation sémantique est une tâche fondamentale de vision par ordinateur qui consiste à attribuer une étiquette de classe spécifique à chaque pixel d'une image. Contrairement à d'autres méthodes qui peuvent identifier des objets avec des boîtes ou attribuer une seule étiquette à une image entière, la segmentation sémantique crée une carte dense, parfaite au pixel près, des différentes catégories sémantiques présentes. Cela fournit une compréhension riche et détaillée du contenu de l'image, délimitant la forme et l'emplacement exacts de chaque catégorie, telles que "route", "ciel", "bâtiment" ou "personne". C'est une technique essentielle dans les scènes où la compréhension du contexte et de la disposition est tout aussi importante que l'identification des objets individuels.

Modèles et outils

La segmentation sémantique utilise souvent des modèles d'apprentissage profond, en particulier des architectures dérivées des réseaux neuronaux convolutifs (CNN).

• Architectures : Les premières architectures populaires incluent les Fully Convolutional Networks (FCN), qui ont remplacé les couches entièrement connectées des réseaux de classification par des couches convolutionnelles pour générer des cartes spatiales, et U-Net, qui utilise une structure encodeur-décodeur avec des connexions directes, ce qui la rend particulièrement efficace pour l'analyse d'images biomédicales. D'autres architectures influentes incluent DeepLab, qui utilise des convolutions à trous (ou dilatées) pour contrôler la résolution des cartes de caractéristiques.
• Modèles modernes : Les modèles de pointe comme Ultralytics YOLO11 offrent également de puissantes capacités pour diverses tâches de segmentation, équilibrant vitesse et précision pour les applications nécessitant une inférence en temps réel.
• Plateformes d'entraînement : Des outils comme Ultralytics HUB offrent des plateformes pour gérer les ensembles de données tels que l'ensemble de données de segmentation COCO largement utilisé, entraîner des modèles personnalisés et explorer les options de déploiement de modèles.
• Frameworks : Le développement utilise souvent des frameworks populaires tels que PyTorch et TensorFlow. Des techniques telles que l'augmentation de données sont couramment utilisées pour améliorer la robustesse et la généralisation du modèle. Les bibliothèques open source telles que OpenCV et scikit-image fournissent également des outils de traitement et d'analyse d'images qui complètent les flux de travail de segmentation.

Applications concrètes

La compréhension détaillée de la scène fournie par la segmentation sémantique est cruciale dans de nombreux domaines :

• Véhicules autonomes : Pour qu'une voiture autonome puisse naviguer en toute sécurité, elle doit comprendre parfaitement son environnement. La segmentation sémantique est utilisée pour identifier les zones praticables (route), les zones non praticables (trottoirs, bâtiments) et l'emplacement des piétons, des cyclistes et des autres véhicules avec une précision au niveau du pixel. Cela permet une planification de trajectoire et une prise de décision plus sûres. Vous pouvez en savoir plus sur le rôle de l'IA dans les véhicules autonomes.
• Analyse d’images médicales : En médecine, la précision est primordiale. La segmentation sémantique aide à délimiter automatiquement les organes, les tumeurs, les lésions et autres structures anatomiques dans les images comme les IRM et les tomodensitométries. Cela aide les radiologues dans le diagnostic, la planification du traitement et le suivi de la progression de la maladie. Apprenez-en davantage sur la façon dont l’IA est appliquée à l’imagerie médicale.
• Analyse d'images satellite : Pour les applications géospatiales, la segmentation sémantique est utilisée pour classer la couverture terrestre à partir d'imagerie satellite. Cela peut être utilisé pour la planification urbaine (identification des bâtiments, des routes et des espaces verts), la surveillance environnementale (suivi de la déforestation ou des plans d'eau) et l'agriculture de précision.
• Robotique : Les robots utilisent la segmentation sémantique pour comprendre leur environnement opérationnel, ce qui leur permet de différencier les sols, les murs, les objets avec lesquels interagir et les obstacles à éviter. Ceci est essentiel pour les tâches de navigation et de manipulation dans des environnements complexes comme les entrepôts ou les habitations. Apprenez-en davantage sur l'intégration de la vision par ordinateur dans la robotique.

Principales distinctions par rapport aux autres tâches

Il est important de différencier la segmentation sémantique des tâches de vision par ordinateur associées :

• Segmentation d'instance: C'est la tâche la plus étroitement liée. Bien que les deux effectuent une classification au niveau des pixels, la segmentation d'instance va plus loin en distinguant les instances individuelles de la même classe d'objet. Par exemple, dans une image avec trois voitures, la segmentation sémantique étiqueterait tous les pixels de voiture simplement comme "voiture". En revanche, la segmentation d'instance identifierait "voiture 1", "voiture 2" et "voiture 3" comme des objets distincts.
• Détection d'objets: Cette tâche identifie la présence et l'emplacement des objets dans une image en traçant une boîte englobante autour de chacun d'eux et en attribuant une étiquette de classe. Elle ne fournit pas d'informations sur la forme de l'objet ni sur les pixels qui lui appartiennent.
• Segmentation panoptique : Cette tâche peut être considérée comme une unification de la segmentation sémantique et de la segmentation d'instance. Elle vise à fournir une compréhension complète de la scène en attribuant une étiquette de classe à chaque pixel (comme la segmentation sémantique) tout en identifiant de manière unique chaque instance d'objet (comme la segmentation d'instance).