Segmentation sémantique
Découvrez la puissance de la segmentation sémantique : classez chaque pixel des images pour une compréhension précise de la scène. Explorez les applications et les outils dès maintenant !
La segmentation sémantique est une tâche fondamentale de la vision par ordinateur qui consiste à attribuer une étiquette de classe spécifique à chaque pixel d'une image. Contrairement à d'autres tâches de vision qui peuvent identifier des objets ou classer l'ensemble de l'image, la segmentation sémantique fournit une compréhension dense, au niveau du pixel, du contenu de la scène. Cela signifie qu'elle ne se contente pas de détecter la présence d'une voiture, mais qu'elle détermine précisément quels pixels appartiennent à la catégorie des voitures, en les différenciant des pixels appartenant à la route, au ciel ou aux piétons. L'objectif est de diviser une image en régions significatives correspondant à différentes catégories d'objets, ce qui permet une compréhension globale de l'environnement visuel.
Comment fonctionne la segmentation sémantique ?
L'objectif premier de la segmentation sémantique est de classer chaque pixel d'une image dans un ensemble prédéfini de catégories. Par exemple, dans une image contenant plusieurs voitures, piétons et arbres, un modèle de segmentation sémantique qualifie tous les pixels composant une voiture de "voiture", tous les pixels d'un piéton de "piéton" et tous les pixels d'un arbre d'"arbre". Il traite toutes les instances d'une même classe d'objets de manière identique.
La segmentation sémantique moderne s'appuie fortement sur l'apprentissage profond, en particulier les réseaux neuronaux convolutifs (CNN). Ces modèles sont généralement formés à l'aide de techniques d'apprentissage supervisé, ce qui nécessite de grands ensembles de données avec des annotations détaillées au niveau des pixels. Le processus consiste à introduire une image dans le réseau, qui produit ensuite une carte de segmentation. Cette carte est essentiellement une image où la valeur de chaque pixel (souvent représentée par une couleur) correspond à son étiquette de classe prédite, séparant visuellement différentes catégories telles que "route", "bâtiment", "personne", etc. La qualité de l'étiquetage des données est cruciale pour la formation de modèles précis.
Principales différences par rapport aux autres tâches de segmentation
Il est important de distinguer la segmentation sémantique des tâches connexes de vision par ordinateur:
- Classification d'images: Attribue une étiquette unique à l'ensemble de l'image (par exemple, "cette image contient un chat"). Elle ne localise pas les objets et n'en dessine pas les contours.
- Détection d'objets: Identifie et localise les objets à l'aide de boîtes de délimitation. Elle indique où se trouvent les objets, mais ne fournit pas leur forme exacte au niveau du pixel.
- Segmentation par instance: Elle va plus loin que la segmentation sémantique en ne se contentant pas de classer chaque pixel, mais en distinguant également les différentes instances d'une même classe d'objets. Par exemple, elle attribue un identifiant et un masque uniques à chaque voiture de la scène. Pour plus de détails, consultez ce guide comparant la segmentation par instance et la segmentation sémantique.
- Segmentation panoptique: Combine la segmentation sémantique et la segmentation par instance, en fournissant à la fois une étiquette de catégorie pour chaque pixel et des identifiants d'instance uniques pour les objets dénombrables ("choses") tout en regroupant les régions d'arrière-plan non dénombrables ("choses") telles que le ciel ou la route.
Applications dans le monde réel
La compréhension détaillée de la scène fournie par la segmentation sémantique est cruciale pour de nombreuses applications dans le monde réel :
- Conduite autonome: Les voitures autonomes utilisent la segmentation sémantique pour comprendre précisément leur environnement. En classant les pixels appartenant aux routes, aux voies, aux trottoirs, aux piétons, aux autres véhicules et aux obstacles, le système de conduite autonome peut prendre des décisions de navigation plus sûres. Il s'agit d'un élément clé des solutions d'IA pour l'automobile.
- Analyse d'images médicales: Dans le domaine de la santé, la segmentation sémantique facilite l'analyse des scanners médicaux tels que les IRM ou les tomodensitogrammes. Elle permet de délimiter automatiquement les organes, d'identifier et de mesurer les tumeurs ou les lésions, et de mettre en évidence les anomalies avec une précision au niveau du pixel. Par exemple, les modèles YOLO d'Ultralytics peuvent être utilisés pour la détection des tumeurs, aidant ainsi les radiologues à établir un diagnostic et à planifier un traitement sur la base de techniques d'imagerie médicale détaillées.
- Analyse de l'imagerie satellitaire: Utilisée pour la classification de l'occupation des sols, le suivi de la déforestation, la planification urbaine et les applications agricoles. Elle permet de différencier les forêts, les plans d'eau, les champs et les zones bâties à partir de photos satellites, comme le montrent les exemples de l'Observatoire de la Terre de la NASA. En savoir plus sur l'utilisation de la vision par ordinateur pour analyser l'imagerie satellitaire.
- Robotique: Permet aux robots de percevoir et d'interagir plus efficacement avec leur environnement en comprenant la disposition et les objets dans une scène. En savoir plus sur l'intégration de la vision par ordinateur dans la robotique.
Modèles et outils
La segmentation sémantique utilise souvent des modèles d'apprentissage profond, en particulier des architectures dérivées des CNN.