Comprendre pourquoi l’annotation avec intervention humaine est essentielle

Il y a vingt ans, si quelqu’un avait dit qu’il envisageait d’acheter un robot pour l’aider à la maison, cela aurait semblé complètement invraisemblable. Pourtant, nous sommes en plein essor de l’IA, et des robots sont testés dans des situations similaires.

Un domaine clé de l’IA à l’origine de ces progrès est la vision par ordinateur, qui permet aux machines de comprendre les images et les vidéos. En d’autres termes, les modèles de vision par ordinateur comme Ultralytics YOLO11 et le modèle plus récent Ultralytics YOLO26 peuvent être entraînés sur des jeux de données composés de données visuelles et d’annotations.

Ces annotations aident le modèle à comprendre les données visuelles. Par exemple, les jeux de données de détection d’objets utilisent des boîtes englobantes pour dessiner des rectangles autour des objets d’intérêt. Le modèle peut ainsi détecter et localiser ces objets dans de nouvelles images, même si la scène est encombrée ou si l’objet est partiellement caché.

D’autres tâches de vision par ordinateur s’appuient sur différents types d’annotations. Les jeux de données de segmentation indiquent le contour exact d’un objet au niveau du pixel, tandis que les jeux de données de points clés marquent des repères spécifiques, comme les articulations d’une personne.

Cependant, pour tous ces formats, la qualité et la cohérence des étiquettes sont déterminantes. Les modèles apprennent directement à partir des données sur lesquelles ils sont entraînés ; si les étiquettes sont incohérentes ou erronées, le modèle reproduit souvent ces erreurs dans ses prédictions.

Même avec l’automatisation, les jeux de données annotés par des humains restent essentiels, en particulier dans des domaines à forts enjeux comme l’imagerie médicale. De petites erreurs d’annotation, comme un contour de tumeur imprécis ou une anomalie non détectée, peuvent enseigner au modèle un schéma erroné et entraîner par la suite des prédictions dangereuses. Les experts humains fournissent la vérité terrain exacte et le jugement requis par ces applications.

Fig. 1. Les jeux de données annotés par des humains sont nécessaires. Image de l’auteur.

Dans cet article, nous allons examiner de plus près pourquoi les données annotées par des humains sont essentielles, même si l’IA continue de progresser.

La nécessité d’annoter les images et les vidéos#

Les modèles de vision par ordinateur apprennent un peu comme nous, en observant de nombreux exemples. La différence, c’est qu’ils apprennent en étant entraînés sur de grands jeux de données d’images et de vidéos préalablement annotés par des humains. Ces étiquettes servent de vérité terrain et apprennent au modèle des choses comme : ceci est un piéton, voici le contour d’une tumeur ou cet objet est une voiture.

Les images du monde réel sont rarement nettes ou uniformes. L’éclairage peut varier et donner un aspect différent au même objet. Des personnes et des véhicules peuvent se chevaucher ou être partiellement cachés. Les arrière-plans peuvent être chargés et distrayants. Lorsque les jeux de données contiennent des annotations soigneuses et cohérentes dans ces situations, les modèles sont bien mieux préparés à ce qu’ils rencontreront hors des environnements contrôlés.

L’annotation des données ne consiste pas seulement à dessiner des boîtes ou à tracer des contours. Elle suppose d’appliquer des consignes et de prendre des décisions pratiques sur ce qui constitue l’objet, l’emplacement de ses limites et la manière de procéder en cas d’ambiguïté. Ce jugement humain garantit la précision et l’exploitabilité des données.

En définitive, un système de vision par ordinateur ne peut être plus performant que les données annotées à partir desquelles il apprend. Dans les applications à fort impact, comme la détection d’un cancer sur des images médicales ou des dangers routiers pour les voitures autonomes, des annotations précises réalisées par des personnes qualifiées font une réelle différence en matière de précision et de sécurité.

L’essor de l’automatisation de l’annotation des données#

À mesure que la vision par ordinateur se développe et que les jeux de données s’étoffent, l’automatisation devient un moyen courant d’accélérer l’annotation. Au lieu de tout étiqueter à la main, les équipes utilisent des modèles d’IA pour générer une première version des étiquettes.

Les humains examinent ensuite les résultats, corrigent les erreurs et traitent les cas que le modèle ne peut pas annoter avec suffisamment de certitude. Cette approche accélère l’annotation tout en maintenant un niveau de qualité élevé.

Voici quelques façons dont l’automatisation facilite généralement l’annotation des données :

• Segmentation automatique : Les modèles peuvent proposer automatiquement le contour des objets ou des masques au niveau du pixel, ce qui réduit le travail de tracé manuel des annotateurs.
• Suivi par flot optique : pour les vidéos, les méthodes de suivi peuvent suivre un objet en mouvement d’une image à l’autre et reporter son annotation, ce qui contribue à maintenir la cohérence des annotations au fil du temps.
• Interpolation d’images : les outils peuvent compléter les annotations des images situées entre deux images annotées en s’appuyant sur des indices de mouvement et de suivi. Les personnes chargées de l’annotation n’ont ainsi pas besoin d’annoter chaque image.
• Apprentissage actif : les pipelines d’entraînement peuvent repérer les exemples que le modèle juge incertains ou inhabituels et les transmettre en priorité aux humains, afin que les efforts manuels portent sur les données qui améliorent le plus les performances.

Pourquoi l’annotation humaine des données reste si essentielle#

Même si l’automatisation peut accélérer l’annotation, les modèles d’IA ont toujours besoin du jugement humain pour rester précis et fiables.

Voici quelques domaines clés dans lesquels l’expertise humaine a un impact sur l’annotation des données :

• Comprendre le contexte : les images et vidéos réelles sont souvent complexes. Les ombres, les reflets, le flou de mouvement et les objets qui se chevauchent peuvent dérouter les outils automatisés. Les personnes chargées de l’annotation peuvent interpréter ce qui se passe réellement, pour produire des annotations plus précises.
• Garantir la cohérence des annotations : à mesure que les jeux de données s’agrandissent, les annotations automatisées peuvent dériver ou varier d’un lot à l’autre. Les humains peuvent vérifier, corriger et harmoniser les annotations afin de préserver la cohérence du jeu de données du début à la fin.
• Réduire les biais et les préjudices : les personnes sont plus aptes à repérer les contenus sensibles, les nuances culturelles et les tendances susceptibles d’introduire des biais. Leur supervision contribue à rendre les jeux de données plus équitables et à éviter les préjudices involontaires.
• Appliquer une expertise métier : certaines tâches nécessitent des connaissances spécialisées, par exemple pour identifier des anomalies médicales ou des défauts industriels. Les experts peuvent fournir des annotations précises et résoudre les cas ambigus afin que le modèle apprenne les bons détails.

Présentation de l’annotation avec intervention humaine#

Les outils et plateformes d’annotation comme Roboflow intègrent l’automatisation pour accélérer l’étiquetage, souvent à l’aide de modèles de fondation comme le modèle de fondation Segment Anything 3, ou SAM 3. SAM 3 est le modèle de fondation de segmentation de Meta AI, pilotable par des prompts.

Il peut détecter, segmenter et suivre des objets dans des images et des vidéos à partir de simples consignes, comme des clics, des boîtes englobantes ou de courtes expressions textuelles. Il produit des masques de segmentation pour les objets correspondants sans nécessiter d’entraînement spécifique à chaque nouvelle catégorie.

Même avec ces approches avancées, l’intervention d’experts humains reste nécessaire pour vérifier et finaliser les annotations. Lorsque les outils automatisés produisent une première ébauche que des humains vérifient, corrigent et peaufinent, ce flux de travail est appelé annotation avec intervention humaine. Cette méthode accélère l’annotation tout en garantissant des étiquettes finales suffisamment précises et cohérentes pour entraîner des modèles fiables.

Fig. 2. Aperçu de l’annotation avec intervention humaine. (Source)

Quand l’automatisation de l’annotation fonctionne et quand elle échoue#

L’annotation automatisée fonctionne le mieux sur des données issues d’environnements contrôlés. Les images recueillies dans des usines, des entrepôts ou des allées de magasins bénéficient généralement d’un éclairage stable et d’une vue dégagée des objets. Les outils automatisés peuvent donc les annoter avec précision et aider les équipes à changer d’échelle plus rapidement, avec moins de travail manuel.

Les données provenant d’environnements moins contrôlés sont plus complexes. Les séquences tournées en extérieur varient selon l’heure et la météo, et les scènes de rue ou d’intérieur comprennent souvent du désordre, du flou de mouvement, des objets qui en masquent d’autres et de nombreux chevauchements. Les petits objets, les contours fins ou les situations rares multiplient les risques d’erreur. Un modèle performant sur des données intérieures nettes peut tout de même avoir du mal avec les images complexes du monde réel.

C’est pourquoi l’intervention humaine reste importante. Les personnes peuvent intervenir lorsque le modèle est incertain, interpréter les contextes délicats et corriger les erreurs avant qu’elles ne se retrouvent dans le jeu de données final. L’annotation avec intervention humaine permet à l’automatisation de rester ancrée dans les conditions du monde réel et garantit la fiabilité des modèles après leur déploiement.

Dans quels domaines l’annotation avec intervention humaine peut-elle faire la différence ?#

Maintenant que nous avons vu où l’automatisation fonctionne bien et où elle montre ses limites, découvrons quelques applications dans lesquelles l’annotation avec intervention humaine joue un rôle important.

Détection des défauts dans l’industrie manufacturière#

Imagine un convoyeur d’usine où des centaines de pièces passent devant une caméra chaque minute. La plupart des défauts sont évidents, mais il arrive qu’une fine fissure apparaisse sous un angle inhabituel ou soit masquée par l’éblouissement d’une lampe. Un système automatisé pourrait ne pas la détecter ou la prendre pour une simple texture de surface, mais une personne chargée de la vérification peut repérer le défaut, corriger l’annotation et s’assurer que le modèle apprend à faire la différence.

C’est le rôle de l’annotation avec intervention humaine dans l’inspection industrielle. L’automatisation peut préannoter les types de défauts courants et traiter rapidement de grands volumes d’images, mais les humains doivent toujours vérifier les résultats, affiner les contours et gérer les défaillances rares qui apparaissent peu souvent dans les données d’entraînement.

Véhicules autonomes et transports intelligents#

De même, les véhicules autonomes utilisent la vision par ordinateur pour repérer les piétons, lire les panneaux et se déplacer dans la circulation, mais les routes réelles sont imprévisibles. Par exemple, un piéton qui surgit la nuit de derrière une voiture garée peut être partiellement caché et difficile à voir à cause de l’éblouissement.

Fig. 3. Exemple d’utilisation de la vision par ordinateur pour analyser la circulation. (Source)

Les personnes chargées de l’annotation peuvent annoter ces cas limites rares et critiques pour la sécurité pendant l’entraînement afin que les modèles apprennent à réagir correctement, non seulement dans des conditions normales, mais aussi dans les moments les plus importants. Cette étape avec intervention humaine est essentielle pour apprendre aux systèmes à gérer les événements peu fréquents, difficiles à capturer avec la seule automatisation.

L’avenir des jeux de données annotés par des humains#

L’annotation avec intervention humaine devient plus collaborative à mesure que la technologie progresse. Fait intéressant, les modèles de vision et de langage (VLMs), qui apprennent à partir d’images et de textes, sont désormais utilisés pour générer une première version des annotations et suggérer des corrections à partir de consignes simples.

Ainsi, au lieu de parcourir manuellement chaque image pour décider quoi étiqueter, un annotateur peut donner à un VLM une invite comme « étiquette tous les piétons, les voitures et les feux de circulation » ou « segmente tous les défauts sur cette pièce », puis obtenir un premier jeu d’annotations à vérifier. Sur Ultralytics Platform, les équipes peuvent annoter automatiquement des jeux de données de détection avec des modèles de vision-langage, et le classement VLM compare la précision de chaque modèle pour l’étiquetage d’images du monde réel.

Fig. 4. Les grands modèles multimodaux peuvent collaborer avec des personnes chargées de l’annotation (Source)

Cela réduit le temps d’annotation, car le modèle peut traiter en amont de nombreux cas simples. Les humains peuvent ainsi se concentrer sur la vérification des résultats, la correction des exemples délicats et la cohérence du jeu de données. Les grands modèles multimodaux commencent également à guider les personnes chargées de l’annotation vers les échantillons les plus incertains, ce qui cible mieux les efforts humains et améliore la qualité globale du jeu de données.

Points clés à retenir#

La vision par ordinateur aide les machines à interpréter ce qu’elles voient et à y réagir, mais elle fonctionne mieux lorsque l’expertise humaine intervient dans le processus. Les données annotées par des humains ancrent les modèles dans les conditions du monde réel et améliorent la fiabilité de leurs performances. En combinant automatisation et jugement humain, les équipes peuvent créer des systèmes de vision à fort impact.

Rejoins notre communauté active et découvre des innovations comme l’IA dans la logistique et l’IA visuelle en robotique. Consulte notre dépôt GitHub pour en savoir plus. Pour commencer dès aujourd’hui avec la vision par ordinateur, découvre nos options de licence.