Un guide de l'annotation polygonale avec la plateforme Ultralytics

Les technologies d'IA de pointe s'imposent dans un large éventail d'industries, de la conduite autonome à l'agriculture de précision. Par exemple, les éleveurs laitiers utilisent l'IA et l'analyse d'images pour détecter les maladies chez le bétail. Les problèmes de santé comme la boiterie peuvent être surveillés en observant les changements dans la démarche et la posture d'un animal, comme un dos voûté et un mouvement asymétrique.

Fig 1. Un exemple de surveillance des vaches utilisant l'IA et l'analyse d'images.

La vision par ordinateur, une branche de l'intelligence artificielle, permet de telles applications en permettant aux machines d'interpréter et d'analyser des données visuelles. Plus précisément, la segmentation d'instances est une tâche de vision par ordinateur qui identifie et segmente chaque objet dans une image au niveau du pixel, ce qui permet de détecter et d'analyser précisément chaque animal.

L'annotation polygonale joue un rôle clé dans ce processus. Il s'agit d'une méthode d'annotation de données utilisée pour tracer soigneusement la forme exacte d'un objet dans une image en plaçant des points le long de ses bords. Contrairement aux simples annotations de boîtes englobantes, cette approche suit le véritable contour de l'objet, ce qui aide à créer des données d'entraînement plus précises et permet aux modèles d'IA en vision de mieux comprendre les limites des objets.

De nos jours, il existe de nombreux outils disponibles pour créer des annotations polygonales. Cependant, ces options peuvent souvent sembler fragmentées, surtout lorsqu'elles offrent un support incohérent ou limité pour différents types d'annotations, ce qui rend plus difficile la gestion des besoins d'étiquetage divers au sein d'un même flux de travail.

Ultralytics Platform, notre nouvel espace de travail d'IA en vision de bout en bout qui comble le fossé entre la gestion des jeux de données, l'annotation, l'entraînement, le déploiement et la surveillance, résout ce problème en prenant en charge plusieurs types d'annotations et des flux de travail assistés par l'IA dans un espace de travail fluide, simplifiant ainsi tout le processus d'annotation.

Dans cet article, nous explorerons ce que sont les annotations polygonales et comment les créer à l'aide d'Ultralytics Platform. Commençons !

Link to this sectionUn examen plus approfondi de l'annotation polygonale#

Avant de plonger dans Ultralytics Platform et ses fonctionnalités d'annotation polygonale, prenons un peu de recul pour comprendre ce qu'est l'annotation polygonale.

L'annotation d'image est le processus consistant à ajouter des étiquettes aux données visuelles afin que les modèles d'IA puissent comprendre ce qu'ils voient. Cela implique généralement d'identifier des objets dans une image et de les marquer de manière à ce qu'un modèle puisse apprendre à partir d'eux.

L'une des méthodes les plus courantes consiste à dessiner des boîtes rectangulaires autour des objets, appelées boîtes englobantes. Cependant, les boîtes englobantes ne fournissent qu'un contour approximatif d'un objet. L'annotation polygonale est une approche plus précise.

Elle fonctionne en soulignant un objet (ses bordures) point par point plutôt qu'en l'enfermant dans une boîte. Pour ce faire, les annotateurs placent plusieurs sommets (points) le long des bords de l'objet, en traçant son contour jusqu'à ce que la forme entière soit couverte.

Ces points connectés forment un polygone qui reflète le contour naturel de l'objet. Puisque la forme suit étroitement la limite de l'objet, l'annotation capture des détails que les méthodes d'étiquetage traditionnelles manquent souvent. Ceci est particulièrement utile lorsque les objets ont des formes irrégulières ou des bords complexes, comme les feuilles, les silhouettes humaines et les objets superposés.

Une telle précision dans les données aide les modèles d'apprentissage automatique à apprendre plus efficacement pendant l'entraînement. Lorsque les annotations capturent avec précision les véritables limites d'un objet, les modèles peuvent mieux comprendre les modèles de l'objet au niveau du pixel. Cela conduit à une amélioration des performances du modèle, en particulier dans les tâches de segmentation qui nécessitent une grande précision.

Link to this sectionLe rôle des annotations polygonales dans les flux de travail de vision par ordinateur#

Alors, comment les annotations polygonales sont-elles réellement utilisées ? Elles sont étroitement liées aux modèles d'IA en vision qui prennent en charge les tâches de segmentation d'images comme la segmentation d'instances.

Dans de nombreuses applications de vision par ordinateur, il est essentiel de connaître la zone exacte que chaque objet occupe dans une image ou une séquence vidéo. Un bon exemple est la détection de pièces automobiles dans la fabrication. Dans ce cas, les modèles doivent identifier et délimiter avec précision les pièces telles que les portes, les fenêtres et les phares, même lorsqu'ils se chevauchent ou ont des formes complexes.

C'est là que la segmentation d'instances entre en jeu. Elle permet aux modèles de détecter chaque objet et de mapper ses limites exactes au niveau du pixel. C'est différent de la détection d'objets de base, qui utilise des boîtes englobantes.

Fig 2. La segmentation d'instances peut également aider à distinguer les pièces endommagées d'une voiture. (Source)

Les boîtes englobantes ne fournissent que des régions rectangulaires approximatives autour des objets et incluent souvent un arrière-plan supplémentaire, ce qui rend plus difficile la capture de formes irrégulières ou la séparation d'éléments superposés.

L'annotation polygonale joue un rôle essentiel pour permettre ce niveau de précision. Tracer la forme exacte de chaque objet dans les images du jeu de données crée des données d'entraînement de haute qualité qui reflètent les véritables limites des objets. Ces annotations détaillées aident les modèles, tels que Ultralytics YOLO26, à mieux comprendre la structure de chaque composant, conduisant à des résultats de segmentation plus précis.

Link to this sectionLimites des outils d'annotation d'image traditionnels#

Ensuite, passons en revue les limites des outils d'annotation traditionnels pour comprendre le besoin de solutions plus efficaces et évolutives comme Ultralytics Platform.

Voici quelques défis courants auxquels les annotateurs sont confrontés lorsqu'ils utilisent des outils d'annotation polygonale traditionnels :

• Support limité pour les types d'annotations : Certains outils se concentrent sur une seule technique d'annotation, ce qui rend difficile le travail avec différents types comme les polygones, les boîtes englobantes et les points clés au même endroit.
• Gestion inefficace des annotations complexes : Les outils peuvent manquer de fonctionnalités facilitant l'annotation précise d'objets complexes avec des détails fins.
• Manque de fonctionnalités assistées par l'IA : De nombreux outils reposent entièrement sur le travail manuel, sans support IA intégré pour accélérer l'annotation.
• Gestion fragmentée des jeux de données : Gérer les jeux de données, les versions et les annotations peut être difficile, surtout lorsque les outils ne fournissent pas d'espace de travail centralisé.

Ultralytics Platform répond à ces préoccupations avec des fonctionnalités d'annotation assistée par IA propulsées à la fois par les modèles SAM (Segment Anything Models) et les modèles YOLO. SAM permet aux utilisateurs de générer des masques de segmentation de haute qualité à partir d'entrées simples comme des clics, qui peuvent ensuite être affinés en annotations polygonales précises.

De même, l'annotation intelligente basée sur YOLO utilise des modèles YOLO pré-entraînés ou personnalisés pour effectuer une inférence sur une image et ajouter des prédictions, telles que des boîtes englobantes, des masques de segmentation ou des boîtes englobantes orientées, en tant qu'annotations, qui peuvent ensuite être examinées et ajustées si nécessaire. Ensemble, ces capacités rendent le processus d'annotation plus rapide, plus cohérent et plus facile à mettre à l'échelle.

Link to this sectionDifférents types d'annotations pris en charge par Ultralytics Platform#

Ultralytics Platform inclut un éditeur d'annotation intégré qui permet aux utilisateurs d'annoter des images directement dans l'espace de travail. Cela facilite la création et la gestion des jeux de données sans dépendre d'outils d'étiquetage de données séparés et souvent fastidieux.

En plus des annotations polygonales, Ultralytics Platform prend en charge plusieurs autres types d'annotations. Voici un aperçu rapide :

• Boîtes englobantes : Les annotateurs peuvent dessiner des boîtes rectangulaires simples autour des objets, ce qui facilite leur étiquetage et leur détection dans une image.
• Points clés : Cette méthode est utilisée pour marquer des points spécifiques, comme les articulations du corps ou des repères, pour des tâches comme l'estimation de pose.
• Boîtes englobantes orientées (OBB) : Celles-ci permettent aux utilisateurs de capturer des objets pivotés ou inclinés avec plus de précision par rapport aux boîtes englobantes standard.
• Étiquettes de classification : Pour des tâches plus simples, les utilisateurs peuvent attribuer des étiquettes à des images entières au lieu de marquer des objets individuels.

Link to this sectionAnnotation d'objets avec des polygones sur Ultralytics Platform#

Maintenant, voyons comment créer des annotations polygonales sur Ultralytics Platform, manuellement ou avec des outils assistés par l'IA.

Link to this sectionCréation manuelle d'annotations polygonales sur Ultralytics Platform#

Voici un guide étape par étape rapide pour créer manuellement des annotations polygonales :

• Étape 1 - Navigue vers ton jeu de données : Ouvre le jeu de données qui contient les images que tu souhaites annoter. C'est là que tes images et tes annotations sont stockées et gérées.
• Étape 2 - Ouvre une image : Clique sur une image pour l'ouvrir dans l'interface d'annotation. Le flux de travail d'annotation dépend de la tâche du jeu de données. Par exemple, dans un jeu de données de segmentation d'instances, les annotations sont créées en utilisant des masques polygonaux.
• Étape 3 – Commence à créer un masque : Clique sur l'image pour commencer à annoter. Chaque clic ajoute un sommet le long de la limite de l'objet.
• Étape 4 – Trace le contour de l'objet : Continue à cliquer autour des bords de l'objet pour définir sa forme.
• Étape 5 – Termine le polygone : Tu peux soit appuyer sur « Entrée », soit cliquer sur le premier point pour terminer le polygone et attribuer une étiquette de classe.
• Étape 6 – Ajoute des annotations supplémentaires : Répète le processus pour créer plus de polygones pour d'autres objets dans l'image.
• Étape 7 – Enregistrement des annotations : Les annotations sont enregistrées automatiquement au fur et à mesure que tu les crées.

Fig 3. Un aperçu de la création manuelle d'annotations polygonales utilisant Ultralytics Platform (Source)

Link to this sectionAnnotation polygonale intelligente sur Ultralytics Platform#

Ensuite, examinons les fonctionnalités d'étiquetage assisté par l'IA prises en charge par Ultralytics Platform qui accélèrent le processus d'annotation.

La plateforme propose deux approches pour l'annotation intelligente : l'une propulsée par les modèles Segment Anything Models pour une génération d'annotation interactive basée sur les clics, et l'autre propulsée par les modèles YOLO pour ajouter les prédictions du modèle directement en tant qu'annotations. Les deux approches peuvent être utilisées pour l'annotation polygonale intelligente.

Link to this sectionAnnotation intelligente utilisant SAM au sein d'Ultralytics Platform#

L'annotation assistée par SAM sur Ultralytics Platform simplifie l'étiquetage manuel en utilisant le Segment Anything Model (SAM) pour générer des masques de segmentation avec un minimum d'entrée. Au lieu de tracer des objets point par point, les utilisateurs peuvent interagir avec l'image en utilisant des invites simples comme des clics pour indiquer ce qui doit être inclus ou exclu.

La plateforme prend en charge plusieurs modèles SAM, y compris SAM 2.1 et SAM 3, permettant aux utilisateurs de choisir entre des performances plus rapides ou une précision plus élevée selon leurs besoins. Sur la base des entrées de l'utilisateur, SAM génère des masques au niveau du pixel en temps réel. Ces masques peuvent ensuite être affinés et utilisés comme annotations polygonales, rendant le processus plus rapide, plus cohérent et plus facile à mettre à l'échelle.

Voici les étapes pour utiliser SAM pour l'annotation polygonale dans Ultralytics Platform :

• Étape 1 – Ouvre une image : Navigue vers ton jeu de données et clique sur une image pour lancer la visionneuse plein écran.
• Étape 2 – Entre dans le mode d'annotation : Clique sur « Edit », puis passe en mode Smart (ou appuie sur S) pour activer SAM.
• Étape 3 – Sélectionne un modèle SAM : Choisis un modèle SAM dans la barre d'outils en fonction de tes besoins en matière de vitesse et de précision.
• Étape 4 – Fournis des invites : Fais un clic gauche pour ajouter des points positifs (inclure des zones) et un clic droit pour ajouter des points négatifs (exclure des zones).
• Étape 5 – Génère et applique le masque : SAM prédit un masque de segmentation en temps réel. Appuie sur « Entrée » (ou utilise l'application automatique) pour appliquer l'annotation.
• Étape 6 – Affine l'annotation : Ajoute plus de points ou ajuste le résultat si nécessaire pour améliorer la précision avant d'enregistrer.

Fig 4. Annotation polygonale assistée par SAM au sein d'Ultralytics Platform (Source)

Link to this sectionAnnotation intelligente utilisant YOLO au sein d'Ultralytics Platform#

L'annotation intelligente basée sur YOLO sur Ultralytics Platform accélère l'étiquetage en utilisant des modèles Ultralytics YOLO pré-entraînés ou des modèles YOLO affinés pour générer des prédictions sur une image et les ajouter en tant qu'annotations. Ces prédictions peuvent inclure des boîtes englobantes, des masques de segmentation ou des boîtes englobantes orientées, en fonction de la tâche du jeu de données.

Les utilisateurs peuvent ensuite examiner et affiner ces annotations si nécessaire. Voici un aperçu des étapes impliquées dans l'utilisation de l'annotation intelligente basée sur YOLO sur Ultralytics Platform :

• Étape 1 – Ouvre une image : Navigue vers ton jeu de données et sélectionne une image pour l'ouvrir dans la visionneuse plein écran.
• Étape 2 – Entre dans le mode d'annotation : Clique sur « Edit », puis passe en mode Smart (ou appuie sur S).
• Étape 3 – Sélectionne un modèle YOLO : Choisis un modèle YOLO dans le sélecteur de modèles de la barre d'outils.
• Étape 4 – Lance la prédiction : Clique sur « Predict » pour laisser le modèle générer des annotations automatiquement.
• Étape 5 – Examine les annotations : Inspecte les boîtes englobantes prédites, les masques de segmentation ou les OBB ajoutés à l'image.
• Étape 6 – Affine et enregistre : Modifie, ajuste ou supprime les annotations incorrectes si nécessaire, puis enregistre tes étiquettes finales.

Fig 5. Un aperçu de l'utilisation de l'annotation intelligente YOLO (Source)

Link to this sectionCas d'utilisation réels de l'annotation polygonale#

L'annotation polygonale a un impact réel dans divers secteurs, du contrôle qualité dans la fabrication à l'agriculture et aux soins de santé. Explorons quelques applications réelles clés.

Link to this sectionIdentification de la détection des nuisibles par vision par ordinateur#

En agriculture, la surveillance de la santé des cultures est essentielle pour améliorer le rendement et réduire les pertes. La détection des zones infectées par des nuisibles sur les feuilles des cultures peut être délicate car ces régions ont souvent des formes irrégulières et des limites floues.

Ce type de problème peut être abordé en utilisant des techniques de segmentation d'images comme la segmentation sémantique, qui étiquette tous les pixels appartenant à une classe (telle que les zones infectées), ou la segmentation d'instances, qui sépare les contours des objets plus précisément.

Avec Ultralytics Platform, les utilisateurs peuvent utiliser l'annotation polygonale pour tracer la forme exacte de ces zones infectées. Cela aide à créer des jeux de données plus précis et facilite la détection des modèles subtils dans les environnements agricoles pour les algorithmes d'IA en vision.

En conséquence, les équipes peuvent créer de meilleures données d'entraînement qui aident les modèles à identifier exactement où les infestations de nuisibles sont présentes. C'est plus efficace que l'utilisation de boîtes englobantes, qui peuvent inclure des parties de la feuille qui ne sont pas touchées.

Link to this sectionAnalyse d'images médicales propulsée par la segmentation d'instances#

Semblable à la détection des nuisibles en agriculture, même de petites différences dans les limites peuvent avoir un impact sur la manière dont les maladies comme le cancer sont analysées dans l'imagerie médicale. Cela est particulièrement crucial lors de l'identification d'anomalies de santé telles que les tumeurs dans les scans CT.

Les méthodes d'annotation traditionnelles peuvent manquer des bords fins ou inclure des tissus environnants, ce qui peut réduire la précision. Avec Ultralytics Platform, les équipes peuvent utiliser l'annotation polygonale pour tracer précisément ces régions dans les données d'entraînement, aidant les modèles à produire une segmentation de tumeur plus précise et fiable.

Link to this sectionPoints clés à retenir#

L'annotation polygonale est essentielle lorsque les modèles ont besoin de comprendre les formes des objets dans les images avec une grande précision. Elle aide à représenter les formes complexes plus précisément, surtout lors de l'utilisation d'Ultralytics Platform. En combinant la précision avec des outils puissants, les équipes peuvent construire des modèles d'IA plus fiables et plus performants.

Prêt(e) à intégrer l'IA en vision dans tes projets ? Rejoins notre communauté et découvre l'IA dans l'industrie automobile et l'IA en vision dans la robotique. Explore notre dépôt GitHub pour en savoir plus. Vérifie nos options de licence pour commencer dès aujourd'hui !