Comment la plateforme Ultralytics utilise l'IA pour automatiser l'annotation

Les solutions de vision par ordinateur qui analysent des images et des vidéos deviennent une partie intégrante des flux de travail dans de nombreux secteurs, de la fabrication à l'imagerie médicale. Dans la fabrication, par exemple, la détection des défauts de surface sur des produits se déplaçant sur une bande transporteuse dépend de modèles de vision par ordinateur capables de repérer des motifs subtils.

Pour que ces modèles fonctionnent correctement, ils doivent être entraînés sur des données étiquetées où chaque défaut est clairement identifié. Cela permet à ces modèles d'apprendre ce qu'ils doivent rechercher et de reconnaître des motifs similaires.

Le processus de création de ces étiquettes s'appelle l'annotation de données. En particulier, l'annotation d'images et l'annotation de vidéos impliquent de dessiner des cadres de délimitation (bounding boxes), de délimiter des formes ou d'étiqueter des régions spécifiques dans des images et des séquences vidéo.

Bien que cela soit gérable pour de petits ensembles de données, cela devient rapidement plus difficile à gérer à mesure que les données augmentent. L'étiquetage de milliers d'images demande un effort manuel constant, faisant de l'annotation un goulot d'étranglement majeur. Les outils traditionnels sont souvent lents, fragmentés et difficiles à faire évoluer.

Ultralytics Platform, la plateforme d'IA de vision tout-en-un, aide à résoudre ces défis grâce à l'annotation assistée par IA. En utilisant l'IA pour générer automatiquement des étiquettes initiales qui peuvent être rapidement examinées et affinées, elle réduit l'effort manuel et améliore l'efficacité.

Dans cet article, nous explorerons comment fonctionne l'annotation assistée par IA au sein de la plateforme Ultralytics et comment elle améliore le processus d'étiquetage. Commençons !

Link to this sectionUn aperçu du processus d'annotation de données#

Avant de plonger dans le fonctionnement de l'annotation assistée par IA sur la plateforme Ultralytics, examinons d'abord plus en détail l'annotation de données.

L'annotation de données, également appelée étiquetage de données, est le processus d'attribution d'étiquettes structurées à des données brutes afin qu'elles puissent être utilisées pour entraîner des modèles d'apprentissage automatique. En vision par ordinateur, ces étiquettes définissent les objets, régions ou caractéristiques d'intérêt au sein des images ou des vidéos.

Pendant l'entraînement, les modèles ou algorithmes apprennent à mapper les données d'entrée sur ces étiquettes, faisant de la qualité de l'annotation un facteur clé de la performance du modèle. Des ensembles de données étiquetés précis et cohérents permettent au modèle d'apprendre les bons motifs, tandis que des annotations médiocres ou incohérentes peuvent conduire à des prédictions peu fiables.

Par exemple, dans un cas d'utilisation de détection de défauts, une image d'un produit sur une bande transporteuse peut être annotée en marquant l'emplacement des défauts et en étiquetant le type de défaut. Cela aide le modèle à apprendre à quoi ressemblent les défauts afin qu'il puisse les identifier dans de nouvelles images.

Link to this sectionUn aperçu des tâches d'annotation courantes#

Ensuite, examinons certaines manières courantes d'annoter des images en vision par ordinateur. Ces méthodes sont utilisées pour étiqueter des données visuelles pour des tâches telles que la détection d'objets, la segmentation d'instances et la classification d'images. Chaque méthode d'annotation remplit une fonction différente, telle que la localisation d'objets, la capture de formes ou l'identification de structures clés.

Link to this sectionBBox#

Les cadres de délimitation (bounding boxes) sont de simples rectangles tracés autour des objets dans une image pour montrer où ils se trouvent. Ils constituent l'un des moyens les plus courants d'étiqueter des données en vision par ordinateur.

En s'entraînant sur des images avec ces cadres, les modèles de détection d'objets apprennent à reconnaître différents objets et à comprendre leur emplacement au sein d'une image. Cela leur permet de détecter plusieurs objets à la fois et d'identifier l'emplacement de chacun.

Par exemple, considérons un match de baseball analysé à l'aide de la vision par ordinateur. Des cadres peuvent être tracés autour des joueurs, de la batte et de la balle dans chaque image, permettant au modèle de détecter et d'identifier ces objets tout au long du match.

Fig 1. Les cadres de délimitation peuvent être utilisés pour étiqueter et localiser plusieurs objets. (Source)

Link to this sectionPolygones ou masques de segmentation#

Les polygones, également appelés masques de segmentation, vont plus loin que les cadres de délimitation en étiquetant les objets au niveau du pixel. Au lieu de tracer un rectangle approximatif, ils capturent la forme exacte et les bords de chaque objet dans une image. Cela les rend utiles pour les tâches nécessitant une compréhension plus détaillée.

Par exemple, dans la conduite autonome, les masques de segmentation sont utilisés dans des tâches telles que la segmentation sémantique, où chaque pixel se voit attribuer une catégorie telle que route ou ciel, et la segmentation d'instances, où des objets individuels comme des véhicules ou des piétons sont identifiés séparément.

Ils sont également utilisés pour des tâches comme la suppression d'arrière-plan, où un objet, tel qu'une personne, doit être isolé du reste de l'image.

Link to this sectionPoints clés (Keypoints)#

Les points clés sont utilisés pour marquer des points spécifiques sur un objet, tels que les articulations du corps humain ou des parties d'un animal. En identifiant ces points, les modèles peuvent comprendre la structure d'un objet et la façon dont ses parties sont positionnées les unes par rapport aux autres.

En vision par ordinateur, c'est ce qu'on appelle l'estimation de pose, où l'objectif est d'identifier l'emplacement de ces points clés et de comprendre comment ils sont reliés les uns aux autres. Le suivi de ces points dans le temps permet d'analyser le mouvement et les changements de posture.

Fig 2. Les annotations de points clés peuvent être utilisées pour marquer les articulations pour l'estimation de pose humaine. (Source)

Un exemple courant consiste à marquer les articulations du corps dans une vidéo pour analyser le mouvement humain. En se concentrant sur ces points clés, les modèles peuvent capturer la façon dont une personne est positionnée et comment sa posture change au fil du temps.

Link to this sectionCadre de délimitation orienté (OBB)#

Tous les objets dans une image ne sont pas parfaitement alignés. Dans de nombreux scénarios réels, les objets apparaissent inclinés, tournés ou sont vus sous différents angles.

Les cadres de délimitation standard ont souvent des difficultés dans ces cas, car ils peuvent inclure un arrière-plan inutile ou ne pas correspondre étroitement à l'objet. Les cadres de délimitation orientés résolvent ce problème en utilisant des rectangles tournés qui s'alignent avec la direction de l'objet. Cela se traduit par des annotations plus précises et plus ajustées.

Cette approche est utilisée dans la détection par cadre de délimitation orienté (OBB), où les modèles identifient à la fois l'emplacement d'un objet et son orientation. Un exemple est l'imagerie aérienne, où des objets comme des bâtiments, des navires ou des véhicules apparaissent souvent sous différents angles. Les boîtes tournées facilitent la capture de leur forme réelle et de leur direction au sein de la scène.

Link to this sectionÉtiquettes de classification#

Les étiquettes de classification adoptent une approche différente des autres méthodes d'annotation en attribuant une seule étiquette à une image entière, plutôt qu'en marquant des objets ou des régions spécifiques. Elles sont utilisées lorsque l'objectif est d'identifier ce qui est présent dans une image, sans se concentrer sur l'endroit où cela apparaît.

Par exemple, une image peut être étiquetée comme « chat » ou « chien » en fonction de son contenu global. Cela rend la classification d'images utile pour les tâches où une compréhension de haut niveau de l'image est suffisante.

Link to this sectionLimites des outils d'annotation traditionnels#

De nombreux outils d'étiquetage traditionnels reposent sur de multiples étapes et des flux de travail déconnectés. Les équipes de développement d'IA doivent souvent basculer entre des plateformes d'annotation pour l'étiquetage, le stockage et la validation, ce qui ralentit les projets d'IA.

La plupart des outils ne prennent en charge qu'un ensemble limité de types d'annotation et de types de données, donc les équipes finissent par utiliser des outils différents pour les cadres de délimitation, la segmentation et les points clés. Cette configuration fragmentée peut être difficile à gérer, surtout pour les équipes novices en vision par ordinateur.

L'effort manuel est un autre défi majeur. Bien que l'annotation d'une seule image ne prenne que quelques minutes, travailler avec de grands ensembles de données devient rapidement chronophage, surtout lorsque des images similaires impliquent des tâches répétitives.

À mesure que les ensembles de données augmentent, les équipes doivent également gérer les fichiers, suivre les versions des ensembles de données et maintenir la cohérence entre les annotations. Cela alourdit la charge de travail, avec plus de temps passé à gérer les données et moins de temps à améliorer les performances des modèles.

Une approche plus efficace consiste à utiliser l'annotation assistée par IA au sein de la plateforme Ultralytics, qui utilise l'IA pour générer et affiner les étiquettes, réduisant l'effort manuel tout en améliorant la vitesse et la cohérence, le tout dans un environnement unique qui regroupe la gestion des ensembles de données, l'annotation, l'entraînement des modèles, le déploiement et la surveillance.

Link to this sectionComment la plateforme Ultralytics facilite le processus d'annotation#

La plateforme Ultralytics simplifie l'annotation en la reliant directement au reste du flux de travail de vision par ordinateur. Au lieu de s'appuyer sur des outils séparés, les équipes peuvent travailler avec les données, les annotations et les modèles dans un seul environnement.

Elle prend en charge une gamme de tâches de vision par ordinateur, y compris la détection d'objets, la classification d'images, la segmentation d'instances, l'estimation de pose et la détection par cadre de délimitation orienté.

Dans cette configuration, l'annotation peut être effectuée de plusieurs manières. Les équipes peuvent étiqueter les données manuellement pour un contrôle total, utiliser l'annotation intelligente basée sur SAM pour un étiquetage interactif basé sur des points, ou appliquer l'annotation intelligente basée sur YOLO pour générer automatiquement des annotations qui peuvent être examinées et affinées. Cette flexibilité facilite le travail avec différents ensembles de données et exigences d'annotation.

Fig 3. Un aperçu de l'annotation au sein de la plateforme Ultralytics (Source)

Comme l'annotation assistée par IA et manuelle est intégrée à la gestion des ensembles de données et à l'entraînement des modèles, les équipes peuvent passer facilement de l'étiquetage des données à l'organisation des ensembles de données et à l'entraînement des modèles. Cela maintient les flux de travail structurés et élimine le besoin de basculer entre les outils ou de reformater les annotations.

La plateforme prend également en charge les modèles Ultralytics YOLO tels que Ultralytics YOLO11 et Ultralytics YOLO26, permettant aux données annotées d'être utilisées directement pour l'entraînement et le test. Cela facilite l'identification des lacunes dans les ensembles de données, l'affinement des annotations et le réentraînement des modèles par itération continue.

Link to this sectionPrincipales fonctionnalités de l'annotation intelligente SAM sur la plateforme Ultralytics#

L'annotation intelligente basée sur SAM sur la plateforme Ultralytics est conçue pour accélérer l'annotation pour les tâches de détection d'objets, de segmentation d'instances et de cadre de délimitation orienté (OBB).

La plateforme fournit plusieurs variantes de modèles SAM, notamment SAM 2.1 Tiny, SAM 2.1 Small, SAM 2.1 Base, SAM 2.1 Large et SAM 3, donnant aux utilisateurs la possibilité de choisir entre la vitesse et la précision.

Fig 4. Annotation intelligente basée sur SAM sur la plateforme Ultralytics (Source)

Les modèles plus petits, tels que Tiny et Small, sont plus rapides et bien adaptés aux flux de travail d'annotation rapides, tandis que les modèles plus grands comme Large et SAM 3 offrent une plus grande précision pour des scènes plus complexes. Le basculement entre les modèles met immédiatement à jour le comportement d'annotation.

Au sein de l'éditeur d'annotation, une fois qu'un modèle SAM est sélectionné, les annotateurs humains peuvent entrer en mode Smart pour commencer l'étiquetage. Au lieu de dessiner des formes manuellement, le modèle est guidé à l'aide de simples entrées basées sur des points.

Un clic gauche ajoute un point positif pour inclure une région, tandis qu'un clic droit ajoute un point négatif pour exclure les zones indésirables. Sur la base de ces entrées, le modèle génère un masque précis en temps réel.

Pour accélérer le flux de travail, le mode d'application automatique peut être activé. Lorsqu'il est actif, chaque clic génère et enregistre automatiquement une annotation sans nécessiter de confirmation manuelle. Pour des objets plus complexes, les annotateurs peuvent soit maintenir "Shift" enfoncé pour placer plusieurs points avant que le masque ne soit appliqué, soit désactiver l'application automatique pour ajouter librement des points, puis appuyer sur "Enter" pour appliquer le masque.

Link to this sectionComprendre l'annotation intelligente YOLO sur la plateforme Ultralytics#

Similaire à l'annotation intelligente basée sur SAM, l'annotation intelligente YOLO sur la plateforme Ultralytics utilise l'IA pour accélérer le processus d'étiquetage. Au lieu de guider le modèle avec des clics, elle utilise les prédictions du modèle pour générer automatiquement des annotations.

Cette approche prend en charge des tâches telles que la détection d'objets, la segmentation d'instances et l'annotation par cadre de délimitation orienté (OBB). Elle fonctionne spécifiquement avec les modèles Ultralytics YOLO, y compris les modèles pré-entraînés fournis par Ultralytics et les modèles YOLO entraînés sur mesure.

Au sein de l'éditeur d'annotation, les annotateurs peuvent entrer en mode Smart, sélectionner un modèle YOLO dans le sélecteur de modèle et cliquer sur Predict. Le sélecteur de modèle n'affiche que les modèles YOLO qui correspondent à la tâche de l'ensemble de données actuel, garantissant que les annotations générées sont compatibles.

Le modèle analyse l'image et génère des annotations basées sur ses prédictions, qui sont ensuite ajoutées directement à l'image. Si les prédictions chevauchent les sorties d'annotation existantes de la même classe, les détections en double sont automatiquement ignorées lorsque le chevauchement dépasse un seuil défini, aidant ainsi à maintenir des étiquettes propres et cohérentes.

Fig 5. Annotation intelligente activée par les modèles Ultralytics YOLO sur la plateforme Ultralytics (Source)

Une fois que les prédictions sont générées, les annotateurs humains peuvent les examiner, les ajuster ou les supprimer si nécessaire. Cela facilite l'étiquetage rapide de grands ensembles de données en commençant par des annotations générées par le modèle et en les affinant au lieu d'annoter tout manuellement.

Au fil du temps, des modèles YOLO améliorés peuvent être réutilisés pour générer de meilleures prédictions, prenant en charge un flux de travail d'auto-étiquetage itératif.

Link to this sectionAppliquer l'étiquetage assisté par IA dans des pipelines réels#

Ensuite, passons en revue des exemples de la façon dont la plateforme Ultralytics permet l'annotation de données dans des cas d'utilisation réels.

Link to this sectionSegmentation dans la conduite autonome#

Les véhicules autonomes intégrés à des modèles de vision par ordinateur s'appuient sur des données visuelles bien annotées pour comprendre leur environnement en temps réel. Les modèles entraînés sur ces données peuvent détecter et segmenter les véhicules, les piétons, les panneaux de signalisation et les limites de la route.

Les tâches de segmentation nécessitent des limites précises au niveau du pixel, ce qui rend l'annotation à la fois critique et chronophage. L'étiquetage manuel de grands volumes de données de capteurs peut rapidement devenir un goulot d'étranglement, surtout dans des scènes de conduite complexes.

La plateforme Ultralytics rationalise ce processus avec l'annotation assistée par IA en utilisant à la fois des modèles SAM et YOLO. L'annotation intelligente basée sur SAM permet une segmentation rapide par clic avec des masques précis, tandis que les modèles YOLO peuvent être utilisés pour générer automatiquement des annotations à travers les images.

Ensemble, ces approches facilitent la gestion de scènes complexes avec des objets qui se chevauchent.

Parce que l'annotation est directement connectée à l'entraînement des modèles, des ensembles de données à grande échelle mis à jour peuvent être utilisés immédiatement pour réentraîner et évaluer les modèles. Cela permet aux équipes d'améliorer continuellement leurs performances et de s'adapter plus efficacement aux nouvelles conditions de conduite.

Link to this sectionAmélioration des systèmes d'assurance qualité dans la fabrication#

Dans la fabrication, le maintien d'un contrôle qualité cohérent dépend de la détection précise des défauts pendant la production. Les modèles de vision par ordinateur sont souvent utilisés pour identifier les problèmes en temps réel, mais leurs performances dépendent de la mesure dans laquelle les données d'entraînement reflètent les conditions de production réelles.

Les changements dans les environnements de fabrication, tels que les variations des matières premières, des réglages des machines ou de l'éclairage, peuvent introduire des types de défauts nouveaux et rares qui ne faisaient pas partie des données d'entraînement originales. Cela crée un écart entre ce que le modèle a appris et ce qui apparaît sur la ligne de production.

Pour rester alignés, les ensembles de données doivent être régulièrement mis à jour avec des annotations internes de haute qualité. La plateforme Ultralytics permet de mettre à jour facilement les annotations et d'étendre les ensembles de données à mesure que de nouveaux motifs de défauts émergent. Ces ensembles de données mis à jour peuvent ensuite être utilisés pour réentraîner les modèles, aidant les équipes à s'adapter plus rapidement aux conditions de production changeantes.

Link to this sectionSurveillance de site et sécurité dans la construction#

Les chantiers de construction sont des environnements dynamiques, avec plusieurs équipes, des équipements en mouvement et des dispositions en constante évolution. Le maintien de la sécurité dans ces conditions dépend de données visuelles claires et bien annotées.

Des annotations précises peuvent améliorer la qualité des données et aider les systèmes d'IA à identifier les travailleurs, l'équipement, les équipements de sécurité et les risques potentiels dans diverses conditions de chantier, y compris les scènes bondées, les arrière-plans changeants et les éclairages variables.

La plateforme Ultralytics prend en charge cela en facilitant la mise à jour et l'affinement des annotations à mesure que les conditions du site évoluent. De nouvelles images peuvent être capturées et ajoutées à l'ensemble de données au fur et à mesure, le gardant aligné avec les scénarios du monde réel.

Link to this sectionPoints clés#

Une annotation de haute qualité est essentielle pour construire des modèles de vision par ordinateur et d'IA fiables, mais les flux de travail traditionnels ralentissent souvent les équipes. La plateforme Ultralytics rationalise ce processus avec des outils d'annotation automatisés et un flux de travail évolutif. En conséquence, les équipes peuvent passer plus rapidement des données au modèle tout en maintenant la précision et la cohérence.

Jette un œil à notre communauté grandissante et à notre dépôt GitHub pour en savoir plus sur la vision par ordinateur. Si tu cherches à concevoir des solutions de vision, jette un coup d'œil à nos options de licence. Explore nos pages de solutions pour en savoir plus sur les avantages de la vision par ordinateur dans le secteur manufacturier et de l'IA dans le secteur de la santé.