Guide de l’annotation par polygones avec Ultralytics Platform

Les technologies d’IA de pointe se développent dans de nombreux secteurs, de la conduite autonome à l’agriculture de précision. Par exemple, les éleveurs laitiers utilisent l’IA et l’analyse d’images pour détecter les maladies chez les bovins. Des problèmes de santé comme la boiterie peuvent être surveillés en observant les changements dans la démarche et la posture d’un animal, par exemple un dos courbé et des mouvements asymétriques.

Fig. 1. Exemple de surveillance de vaches à l’aide de l’IA et de l’analyse d’images.

La vision par ordinateur, une branche de l’intelligence artificielle, permet ce type d’application en donnant aux machines la capacité d’interpréter et d’analyser des données visuelles. Plus précisément, la segmentation d’instances est une tâche de vision par ordinateur qui identifie et segmente chaque objet d’une image au niveau du pixel, ce qui permet de détecter et d’analyser précisément chaque animal.

L’annotation par polygones joue un rôle clé dans ce processus. Cette méthode d’annotation des données consiste à tracer soigneusement la forme exacte d’un objet dans une image en plaçant des points le long de ses contours. Contrairement aux simples annotations par boîtes englobantes, cette approche suit le véritable contour de l’objet, ce qui permet de créer des données d’entraînement plus précises et aide les modèles d’IA visuelle à mieux comprendre les limites des objets.

Aujourd’hui, de nombreux outils permettent de créer des annotations par polygones. Toutefois, ces solutions peuvent souvent sembler disparates, surtout lorsqu’elles offrent une prise en charge incohérente ou limitée de différents types d’annotations, ce qui complique la gestion de besoins d’annotation variés dans un même flux de travail.

Ultralytics Platform, notre nouvel espace de travail d’IA visuelle de bout en bout qui relie la gestion des jeux de données, l’annotation, l’entraînement, le déploiement et la surveillance, résout ce problème en prenant en charge plusieurs types d’annotations et des flux de travail assistés par l’IA dans un seul espace de travail fluide, ce qui simplifie l’ensemble du processus d’annotation.

Dans cet article, nous allons voir ce que sont les annotations par polygones et comment les créer avec Ultralytics Platform. C’est parti !

Zoom sur l’annotation par polygones#

Avant de nous pencher sur Ultralytics Platform et ses fonctionnalités d’annotation par polygones, prenons un peu de recul pour comprendre en quoi consiste cette méthode d’annotation.

L’annotation d’images consiste à ajouter des étiquettes aux données visuelles afin que les modèles d’IA puissent comprendre ce qu’ils voient. Elle consiste généralement à identifier les objets d’une image et à les marquer de manière à ce qu’un modèle puisse apprendre à partir de ces annotations.

L’une des méthodes les plus courantes consiste à dessiner des rectangles autour des objets, appelés boîtes englobantes. Toutefois, les boîtes englobantes ne fournissent qu’un contour approximatif de l’objet. L’annotation par polygones est une méthode plus précise.

Elle consiste à délimiter un objet (ses contours) point par point plutôt qu’à l’enfermer dans une boîte. Pour ce faire, les annotateurs placent plusieurs sommets (points) le long des contours d’un objet, en suivant son périmètre jusqu’à ce que toute sa forme soit tracée.

Ces points reliés forment un polygone qui épouse le contour naturel de l’objet. Comme la forme suit de près les limites de l’objet, l’annotation capture des détails que les méthodes d’étiquetage traditionnelles manquent souvent. C’est particulièrement utile pour les objets aux formes irrégulières ou aux contours complexes, comme les feuilles, les silhouettes humaines et les objets qui se chevauchent.

Cette précision des données aide les modèles d’apprentissage automatique à apprendre plus efficacement pendant leur entraînement. Lorsque les annotations représentent fidèlement les limites réelles d’un objet, les modèles peuvent mieux comprendre ses caractéristiques au niveau du pixel. Cela améliore les performances des modèles, en particulier pour les tâches de segmentation qui exigent une grande précision.

Le rôle des annotations par polygones dans les flux de travail de vision par ordinateur#

Alors, comment utilise-t-on concrètement les annotations par polygones ? Elles sont étroitement liées aux modèles d’IA visuelle qui prennent en charge des tâches de segmentation d’images comme la segmentation d’instances.

Dans de nombreuses applications de vision par ordinateur, il est essentiel de connaître la zone exacte occupée par chaque objet dans une image ou une image vidéo. La détection de pièces automobiles dans le secteur manufacturier en est un bon exemple. Dans ce cas, les modèles doivent identifier et délimiter précisément les pièces comme les portières, les fenêtres et les phares, même lorsqu’elles se chevauchent ou présentent des formes complexes.

C’est là qu’intervient la segmentation d’instances. Elle permet aux modèles de détecter chaque objet et d’en cartographier les limites exactes au niveau du pixel. Elle se distingue de la détection d’objets classique, qui utilise des boîtes englobantes.

Fig. 2. La segmentation d’instances peut également aider à distinguer les pièces endommagées d’une voiture. (Source)

Les boîtes englobantes ne fournissent que des zones rectangulaires approximatives autour des objets et incluent souvent des éléments d’arrière-plan, ce qui complique la délimitation des formes irrégulières ou la séparation d’objets qui se chevauchent.

L’annotation par polygones joue un rôle essentiel pour atteindre ce niveau de précision. Le traçage de la forme exacte de chaque objet dans les images d’un jeu de données permet de créer des données d’entraînement de qualité qui reflètent les véritables limites des objets. Ces annotations détaillées aident les modèles comme Ultralytics YOLO26 à mieux comprendre la structure de chaque composant, ce qui produit des résultats de segmentation plus précis.

Limites des outils traditionnels d’annotation d’images#

Passons maintenant en revue les limites des outils d’annotation traditionnels pour comprendre pourquoi des solutions plus efficaces et évolutives comme Ultralytics Platform sont nécessaires.

Voici quelques difficultés courantes rencontrées par les annotateurs qui utilisent des outils traditionnels d’annotation par polygones :

• Prise en charge limitée des types d’annotations : certains outils se concentrent sur une seule technique d’annotation, ce qui complique l’utilisation en un même endroit de différents types, comme les polygones, les boîtes englobantes et les points clés.
• Gestion inefficace des annotations complexes : les outils peuvent ne pas proposer de fonctionnalités permettant d’annoter plus facilement et avec précision des objets complexes comportant des détails fins.
• Absence de fonctionnalités assistées par l’IA : de nombreux outils reposent entièrement sur le travail manuel et ne proposent aucune fonction d’IA intégrée pour accélérer l’annotation.
• Gestion fragmentée des jeux de données : la gestion des jeux de données, des versions et des annotations peut être difficile, surtout lorsque les outils ne fournissent pas d’espace de travail centralisé.

Ultralytics Platform répond à ces préoccupations avec des fonctionnalités d’annotation assistées par l’IA, reposant à la fois sur les modèles Segment Anything (SAM) et les modèles YOLO. SAM permet aux utilisateurs de générer des masques de segmentation de haute qualité à partir de gestes simples comme des clics, puis de les affiner pour obtenir des annotations par polygones précises.

De même, l’annotation intelligente basée sur YOLO utilise des modèles YOLO préentraînés ou entraînés sur mesure pour effectuer une inférence sur une image et ajouter des prédictions, comme des boîtes englobantes, des masques de segmentation ou des boîtes englobantes orientées, sous forme d’annotations, qui peuvent ensuite être examinées et ajustées au besoin. Ensemble, ces fonctionnalités accélèrent le processus d’annotation, le rendent plus cohérent et en facilitent la mise à l’échelle.

Différents types d’annotations pris en charge par Ultralytics Platform#

Ultralytics Platform comprend un éditeur d’annotations intégré qui permet aux utilisateurs d’annoter des images directement dans l’espace de travail. Il est ainsi plus facile de créer et de gérer des jeux de données sans dépendre d’outils distincts d’étiquetage des données, souvent chronophages.

En plus des annotations par polygones, Ultralytics Platform prend en charge plusieurs autres types d’annotations. Voici un aperçu rapide :

• Boîtes englobantes : Les annotateurs peuvent dessiner de simples rectangles autour des objets, ce qui facilite leur étiquetage et leur détection dans une image.
• Points clés : Cette méthode sert à marquer des points précis, comme les articulations du corps ou des repères, pour des tâches telles que l’estimation de pose.
• Boîtes englobantes orientées (OBB) : Elles permettent de délimiter plus précisément les objets inclinés ou pivotés que les boîtes englobantes classiques.
• Étiquettes de classification : Pour les tâches plus simples, les utilisateurs peuvent attribuer des étiquettes à des images entières au lieu de marquer chaque objet.

Annoter des objets avec des polygones sur Ultralytics Platform#

Voyons maintenant comment créer des annotations polygonales sur Ultralytics Platform, manuellement ou à l’aide d’outils assistés par l’IA.

Créer manuellement des annotations polygonales sur Ultralytics Platform#

Voici un guide rapide, étape par étape, pour créer manuellement des annotations polygonales :

• Étape 1 - Accède à ton jeu de données : Ouvre le jeu de données qui contient les images que tu veux annoter. C’est là que tes images et annotations sont stockées et gérées.
• Étape 2 - Ouvre une image : Clique sur une image pour l’ouvrir dans l’interface d’annotation. Le processus d’annotation dépend de la tâche associée au jeu de données. Par exemple, dans un jeu de données de segmentation d’instances, les annotations sont créées à l’aide de masques polygonaux.
• Étape 3 – Commence à créer un masque : Clique sur l’image pour commencer l’annotation. Chaque clic ajoute un sommet le long du contour de l’objet.
• Étape 4 – Trace le contour de l’objet : Continue à cliquer autour des bords de l’objet pour en définir la forme.
• Étape 5 – Termine le polygone : Tu peux appuyer sur « Enter » ou cliquer sur le premier point pour terminer le polygone et attribuer une étiquette de classe.
• Étape 6 – Ajoute d’autres annotations : Répète le processus pour créer d’autres polygones autour des autres objets de l’image.
• Étape 7 – Enregistre les annotations : Les annotations sont enregistrées automatiquement au fur et à mesure que tu les crées.

Fig. 3. Aperçu de la création manuelle d’annotations polygonales avec Ultralytics Platform (Source)

Annotation polygonale intelligente sur Ultralytics Platform#

Examinons ensuite les fonctionnalités d’annotation assistées par l’IA proposées par Ultralytics Platform pour accélérer le processus.

La plateforme propose deux approches pour l’annotation intelligente : l’une s’appuie sur les modèles Segment Anything pour générer des annotations interactives à partir de clics, et l’autre utilise des modèles YOLO pour ajouter directement les prédictions des modèles comme annotations. Les deux approches permettent de réaliser des annotations polygonales intelligentes.

Annotation intelligente avec SAM sur Ultralytics Platform#

L’annotation assistée par SAM sur Ultralytics Platform simplifie l’étiquetage manuel en utilisant le modèle Segment Anything (SAM) pour générer des masques de segmentation avec un minimum d’intervention. Au lieu de tracer les objets point par point, les utilisateurs peuvent interagir avec l’image à l’aide d’instructions simples, comme des clics, pour indiquer ce qui doit être inclus ou exclu.

La plateforme prend en charge plusieurs modèles SAM, dont SAM 2.1 et SAM 3, ce qui permet aux utilisateurs de choisir entre des performances plus rapides et une meilleure précision selon leurs besoins. À partir des indications de l’utilisateur, SAM génère des masques au niveau du pixel en temps réel. Ces masques peuvent ensuite être affinés et utilisés comme annotations polygonales, ce qui accélère le processus, le rend plus cohérent et facilite sa mise à l’échelle.

Voici les étapes pour utiliser SAM afin de créer des annotations polygonales sur Ultralytics Platform :

• Étape 1 – Ouvre une image : Accède à ton jeu de données et clique sur une image pour ouvrir le visualiseur plein écran.
• Étape 2 – Passe en mode annotation : Clique sur « Edit », puis passe en mode Smart (ou appuie sur S) pour activer SAM.
• Étape 3 – Sélectionne un modèle SAM : Choisis un modèle SAM dans la barre d’outils en fonction de tes besoins en matière de vitesse et de précision.
• Étape 4 – Fournis des indications : Fais un clic gauche pour ajouter des points positifs (zones à inclure) et un clic droit pour ajouter des points négatifs (zones à exclure).
• Étape 5 – Génère et applique le masque : SAM prédit un masque de segmentation en temps réel. Appuie sur « Enter » (ou utilise l’application automatique) pour appliquer l’annotation.
• Étape 6 – Affine l’annotation : Si nécessaire, ajoute des points ou ajuste le résultat pour améliorer la précision avant l’enregistrement.

Fig. 4. Annotation polygonale assistée par SAM sur Ultralytics Platform (Source)

Annotation intelligente avec YOLO sur Ultralytics Platform#

L’annotation intelligente basée sur YOLO sur Ultralytics Platform accélère l’étiquetage en utilisant des modèles Ultralytics YOLO préentraînés ou des modèles YOLO affinés pour générer des prédictions sur une image et les ajouter comme annotations. Ces prédictions peuvent inclure des boîtes englobantes, des masques de segmentation ou des boîtes englobantes orientées, selon la tâche associée au jeu de données.

Les utilisateurs peuvent ensuite examiner et affiner ces annotations selon leurs besoins. Voici un aperçu des étapes à suivre pour utiliser l’annotation intelligente basée sur YOLO sur Ultralytics Platform :

• Étape 1 – Ouvre une image : Accède à ton jeu de données et sélectionne une image pour l’ouvrir dans le visualiseur plein écran.
• Étape 2 – Passe en mode annotation : Clique sur « Edit », puis passe en mode Smart (ou appuie sur S).
• Étape 3 – Sélectionne un modèle YOLO : Choisis un modèle YOLO dans le sélecteur de modèles de la barre d’outils.
• Étape 4 – Lance la prédiction : Clique sur « Predict » pour que le modèle génère automatiquement des annotations.
• Étape 5 – Vérifie les annotations : Examine les boîtes englobantes, les masques de segmentation ou les OBB prédits et ajoutés à l’image.
• Étape 6 – Affine et enregistre : Modifie, ajuste ou supprime les annotations incorrectes selon tes besoins, puis enregistre tes étiquettes finales.

Fig. 5. Aperçu de l’utilisation de l’annotation intelligente YOLO (Source)

Cas d’usage concrets de l’annotation polygonale#

L’annotation polygonale a un réel impact dans de nombreux secteurs, du contrôle qualité dans l’industrie à l’agriculture et à la santé. Découvrons quelques applications concrètes importantes.

Détection des ravageurs par vision par ordinateur#

En agriculture, surveiller la santé des cultures est essentiel pour améliorer les rendements et réduire les pertes. Détecter les zones infestées par des ravageurs sur les feuilles des cultures peut être difficile, car ces zones ont souvent des formes irrégulières et des contours peu nets.

Ce type de problème peut être abordé à l’aide de techniques de segmentation d’image, comme la segmentation sémantique, qui étiquette tous les pixels appartenant à une classe (par exemple, les zones infestées), ou la segmentation d’instances, qui délimite les contours des objets avec plus de précision.

Avec Ultralytics Platform, les utilisateurs peuvent utiliser l’annotation polygonale pour tracer précisément la forme de ces zones infestées. Cela aide à créer des jeux de données plus précis et permet aux algorithmes d’IA visuelle de repérer plus facilement les motifs subtils dans les environnements agricoles.

Les équipes peuvent ainsi constituer de meilleures données d’entraînement, qui aident les modèles à identifier précisément les zones touchées par des infestations de ravageurs. Cette méthode est plus efficace que l’utilisation de boîtes englobantes, qui peuvent inclure des parties non touchées de la feuille.

Analyse d’images médicales grâce à la segmentation d’instances#

Comme pour la détection des ravageurs en agriculture, même de petites différences au niveau des contours peuvent avoir une incidence sur l’analyse de maladies comme le cancer en imagerie médicale. C’est particulièrement important pour identifier des anomalies médicales comme les tumeurs sur des scanners CT.

Les méthodes d’annotation traditionnelles peuvent manquer les contours fins ou inclure des tissus environnants, ce qui peut réduire la précision. Avec Ultralytics Platform, les équipes peuvent utiliser l’annotation polygonale pour tracer précisément ces zones dans les données d’entraînement, afin d’aider les modèles à produire une segmentation des tumeurs plus précise et fiable.

Points clés à retenir#

L’annotation polygonale est essentielle lorsque les modèles doivent comprendre avec précision la forme des objets dans les images. Elle permet de représenter plus fidèlement les formes complexes, en particulier avec Ultralytics Platform. En alliant précision et outils puissants, les équipes peuvent créer des modèles d’IA plus fiables et plus performants.

Prêt à intégrer l’IA visuelle à tes projets ? Rejoins notre communauté et découvre l’IA dans l’industrie automobile ainsi que l’IA visuelle en robotique. Consulte notre dépôt GitHub pour en savoir plus. Découvre nos options de licence pour te lancer dès aujourd’hui !