Segmentation d'instance

La segmentation des instances est une technique sophistiquée de technique sophistiquée de vision par ordinateur (VA) qui identifie, localise et délimite des objets individuels dans une image au niveau du pixel, localise et délimite des objets individuels dans une image au niveau du pixel. Contrairement à la détection d'objets, qui approxime l'emplacement d'un l'emplacement d'un objet à l'aide d'une boîte de délimitation rectangulaire, la segmentation génère un masque précis qui décrit la forme exacte de chaque objet distinct. Ce niveau de détail granulaire Ce niveau de détail granulaire permet aux systèmes de faire la distinction entre plusieurs instances d'une même classe, par exemple en séparant deux voitures qui se chevauchent ou des personnes individuelles dans une foule, ce qui rend la segmentation plus efficace. ou des personnes dans une foule, ce qui en fait un composant essentiel de l'intelligence artificielle (IA) avancée. l'intelligence artificielle (IA) (IA).

Différence avec les tâches connexes

Pour bien comprendre la segmentation des instances, il est utile de la comparer à d'autres tâches fondamentales de vision par ordinateur. fondamentales de la vision par ordinateur:

• Segmentation sémantique: Cette tâche consiste à classer chaque pixel d'une image dans une catégorie (par exemple, "ciel", "route", "personne"), mais ne différencie pas les objets individuels. "personne"), mais ne fait pas la différence entre les objets individuels. Tous les pixels appartenant à la classe Tous les pixels appartenant à la classe "voiture" sont regroupés, ce qui signifie qu'il n'est pas possible de distinguer une voiture d'une autre.
• Détection d'objets: Cette tâche permet de détecter la présence et l'emplacement d'objets, en les enfermant dans des boîtes de délimitation. Bien qu'elle distingue (par exemple, voiture A vs. voiture B), elle ne saisit pas leur forme ou leurs limites.
• Segmentation panoptique: Elle combine le meilleur des deux mondes, en attribuant une étiquette de classe à chaque pixel (sémantique) tout en identifiant de manière unique les instances d'objets individuels (instance), ce qui permet d'obtenir une compréhension globale de la scène. d'objets individuels (instance), ce qui permet de comprendre l'ensemble de la scène.

La segmentation par instance fusionne efficacement les capacités de localisation de la détection d'objets avec la précision au niveau du pixel de la segmentation sémantique. pixel de la segmentation sémantique.

Comment ça marche

Les modèles de segmentation des instances utilisent généralement des architectures d'apprentissage profond (DL), en particulier réseaux neuronaux convolutifs (CNN), pour extraire les caractéristiques d'une image. Le processus comporte généralement deux étapes parallèles :

1. Localisation: Le modèle prédit la classe et les coordonnées de la boîte englobante pour chaque objet.
2. Génération d'un masque: Simultanément, le modèle prédit un masque binaire dans la région détectée, déterminant exactement quels pixels appartiennent à l'objet.

Les premières approches comme le R-CNN de Mask utilisaient un processus en deux étapes, générant d'abord des propositions de régions et les affinant ensuite. d'abord en générant des propositions de régions, puis en les affinant. Les architectures modernes, telles que Ultralytics YOLO11ont révolutionné ce processus en réalisant détection et la segmentation en une seule étape. Cela permet l 'inférence en temps réel, ce qui permet de de segment objets dans des flux vidéo en direct avec une vitesse et une précision élevées.

Applications concrètes

La détection précise des frontières offerte par la segmentation des instances est indispensable dans de nombreux secteurs :

• Analyse d'images médicales: Dans le domaine de la santé, l'identification du volume et de la forme exacts des anomalies est vitale. La segmentation des instances est utilisée pour pour délimiter les tumeurs dans les IRM ou compter les des cellules individuelles en microscopie, ce qui permet de poser un diagnostic précis et de planifier un traitement.
• Véhicules autonomes: Les voitures autonomes utilisent cette technologie pour comprendre les scènes routières complexes. En s'entraînant sur des ensembles de données tels que Cityscapes, les véhicules peuvent faire la distinction entre les surfaces de les piétons et les autres véhicules, ce qui permet de naviguer en toute sécurité, même dans des environnements très fréquentés.
• Agriculture de précision: Les agriculteurs utilisent la segmentation pour contrôler la santé des cultures. Les robots équipés de systèmes de vision peuvent identifier les mauvaises herbes dans les cultures pour une application ciblée d'herbicides ou guider les bras robotisés pour récolter des fruits comme les fraises en reconnaissant leurs contours exacts. en reconnaissant leurs contours exacts.
• Robotique: Pour qu'un robot puisse interagir avec son environnement, par exemple en saisissant un objet spécifique dans un bac, il doit comprendre l'orientation et la forme de l'objet. l'orientation et la forme de l'objet. La segmentation des instances fournit les données géométriques nécessaires à une manipulation.

Mise en œuvre de la segmentation des instances

Les développeurs peuvent facilement mettre en œuvre la segmentation des instances à l'aide de la fonction ultralytics Paquet Python . La bibliothèque prend en charge YOLO11 modèles pré-entraînés sur le Ensemble de données COCOqui peut detect et segment 80 catégories d'objets courants. la boîte.

Voici un exemple concis de chargement d'un modèle et d'exécution d'une segmentation sur une image :

from ultralytics import YOLO

# Load a pre-trained YOLO11 instance segmentation model
model = YOLO("yolo11n-seg.pt")

# Run inference on an image
# The model predicts classes, boxes, and masks simultaneously
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Visualize the results with masks plotted
results[0].show()

Pour les utilisateurs qui souhaitent appliquer cette méthode à leurs propres données, le cadre prend en charge les éléments suivants formation sur des ensembles de données personnalisés, permettant au modèle d'apprendre de nouvelles classes spécifiques à des applications de niche. classes spécifiques à des applications de niche.