Segmentation panoptique

Comment fonctionne la segmentation panoptique

Les algorithmes de segmentation panoptique traitent une image pour produire une carte de sortie unique où chaque pixel reçoit une étiquette sémantique et, s'il appartient à un objet dénombrable ("chose"), un identifiant d'instance unique. Les pixels appartenant à des régions d'arrière-plan ("stuff") partagent la même étiquette sémantique mais n'ont généralement pas d'identifiant d'instance unique (ou partagent un seul identifiant par catégorie de "stuff"). Les approches modernes s'appuient souvent sur l'apprentissage en profondeur, en particulier les architectures basées sur les réseaux neuronaux convolutifs (CNN) ou les transformateurs. Certaines méthodes utilisent des branches de réseau distinctes pour la segmentation sémantique et la segmentation des instances, puis fusionnent les résultats, tandis que d'autres emploient des modèles de bout en bout conçus spécifiquement pour la tâche panoptique, comme présenté dans l'article original "Panoptic Segmentation". L'entraînement de ces modèles nécessite des ensembles de données comportant des annotations panoptiques détaillées, tels que l'ensemble de données panoptiques COCO ou l'ensemble de données Cityscapes. Les performances sont souvent mesurées à l'aide de la mesure de la qualité panoptique (PQ), qui combine la qualité de la segmentation et la qualité de la reconnaissance.

Segmentation panoptique et tâches connexes

Il est essentiel de comprendre les distinctions entre la segmentation panoptique et les tâches de vision par ordinateur connexes :

• Segmentation sémantique: Elle attribue une étiquette de classe (par exemple, "voiture", "personne", "route") à chaque pixel. Elle identifie les catégories, mais ne fait pas la différence entre les différentes instances d'une même catégorie. Par exemple, toutes les voitures peuvent être colorées de la même manière dans le masque de sortie.
• Segmentation des instances: Détecte et segmente les instances d'objets individuels (par exemple, "voiture 1", "voiture 2", "personne 1"). Elle se concentre sur les "choses" dénombrables et ignore généralement les "choses" d'arrière-plan amorphes comme le ciel ou la route, ou les traite comme une seule classe d'arrière-plan. Les modèles YOLO d'Ultralytics offrent de solides capacités de segmentation des instances. Pour en savoir plus, consultez ce guide sur la segmentation d'instance et la segmentation sémantique.
• Détection d'objets: Identifie la présence et l'emplacement des objets à l'aide de boîtes de délimitation et attribue des étiquettes de classe. Elle ne fournit pas de masques au niveau des pixels et ne segmente pas les régions d'arrière-plan. De nombreux modèles de détection d'objets de pointe, tels que YOLOv10 et YOLO11, sont disponibles à des fins de comparaison, comme YOLO11 vs YOLOv10.

La segmentation panoptique combine de manière unique les forces de la segmentation sémantique et de la segmentation d'instance, en fournissant un résultat unifié qui segmente tous les pixels en régions d'arrière-plan étiquetées par classe ou en instances d'objet distinctes.

Applications de la segmentation panoptique

La compréhension globale de la scène offerte par la segmentation panoptique est précieuse dans divers domaines :

• Véhicules autonomes: Les voitures autonomes ont besoin d'une compréhension complète de leur environnement. La segmentation panoptique leur permet d'identifier simultanément la route, les trottoirs, les bâtiments ("choses") et de distinguer les voitures, les piétons et les cyclistes ("choses"), même lorsque les objets se chevauchent. Cette perception détaillée est essentielle pour une navigation et une prise de décision sûres. Découvrez comment Ultralytics contribue à l'IA dans les solutions automobiles.
• Analyse d'images médicales: Lors de l'analyse d'images médicales telles que l'IRM ou le scanner, la segmentation panoptique permet de différencier différents types de tissus ("choses") tout en identifiant et en segmentant des instances spécifiques de structures telles que des tumeurs, des lésions ou des cellules individuelles ("choses"). Cela facilite le diagnostic, la planification du traitement et le suivi de la progression de la maladie. En savoir plus sur l'utilisation de YOLO11 pour la détection des tumeurs.
• Robotique: Les robots opérant dans des environnements complexes ont intérêt à comprendre à la fois l'agencement (murs, sols - "choses") et les objets individuels avec lesquels ils peuvent interagir (outils, pièces, personnes - "choses"). Cela facilite la navigation, la manipulation et l'interaction homme-robot. Explorez l'IA en robotique.
• Réalité augmentée (RA) : Les applications de réalité augmentée peuvent utiliser la segmentation panoptique pour placer de manière réaliste des objets virtuels dans une scène réelle, en gérant correctement les occlusions et les interactions avec les surfaces d'arrière-plan et les objets de premier plan. Voir les progrès de la technologie de la réalité augmentée.
• Analyse d'images satellites: Utilisée pour la cartographie détaillée de l'occupation du sol, elle permet de distinguer les types de grandes surfaces comme les forêts ou les étendues d'eau ("choses") des structures individuelles comme les bâtiments ou les véhicules ("objets"). En savoir plus sur les techniques d'analyse d'images satellites.

Alors que les modèles Ultralytics tels que YOLO11 offrent des performances de pointe dans des tâches telles que la détection d'objets et la segmentation d'instances, la segmentation panoptique représente le niveau suivant de compréhension intégrée de la scène, cruciale pour les applications d'IA de plus en plus sophistiquées. Vous pouvez gérer et former des modèles pour des tâches connexes en utilisant des plateformes comme Ultralytics HUB.