Comprendre pourquoi l'annotation avec une boucle humaine (human-in-the-loop) est essentielle

Il y a vingt ans, si quelqu'un disait qu'il envisageait d'avoir un robot pour l'aider à la maison, cela aurait semblé très farfelu. Cependant, nous sommes en plein essor de l'IA et les robots sont testés dans des scénarios similaires.

Un domaine clé de l'IA qui favorise ces progrès est la computer vision, qui donne aux machines la capacité de comprendre des images et des vidéos. En d'autres termes, les modèles de computer vision comme Ultralytics YOLO11 et le futur Ultralytics YOLO26 peuvent être entraînés sur des datasets composés de données visuelles et d'annotations.

Ces annotations aident le modèle à comprendre les données visuelles. Par exemple, les datasets de détection d'objets utilisent des bounding boxes pour dessiner des rectangles autour des objets d'intérêt. Cela permet au modèle de détecter et de localiser ces objets dans de nouvelles images, même lorsque la scène est encombrée ou que l'objet est partiellement caché.

D'autres tâches de computer vision dépendent de différents types d'annotations. Les datasets de segmentation étiquettent le contour exact d'un objet au niveau des pixels, tandis que les datasets de keypoints marquent des points de repère spécifiques comme les articulations d'une personne.

Cependant, pour tous ces formats, un facteur crucial est la qualité et la cohérence des étiquettes. Les modèles apprennent directement à partir des données sur lesquelles ils sont entraînés ; donc, si les étiquettes sont incohérentes ou erronées, le modèle répercutera souvent ces erreurs dans ses prédictions.

Même avec l'automatisation, les datasets annotés par des humains restent cruciaux, en particulier dans des domaines à fort enjeu comme l'medical imaging. De petites erreurs d'étiquetage, comme une limite tumorale imprécise ou une anomalie manquée, peuvent apprendre au modèle le mauvais schéma et conduire à des prédictions dangereuses plus tard. Les experts humains fournissent la ground truth précise et le jugement que ces applications exigent.

Fig 1. Il existe un besoin pour les datasets annotés par des humains. Image par l'auteur.

Dans cet article, nous examinerons de plus près pourquoi les données annotées par des humains sont essentielles, alors même que l'IA continue de progresser.

Link to this sectionLe besoin d'annotation d'images et de vidéos#

Les modèles de computer vision apprennent beaucoup comme nous, en voyant de nombreux exemples. La différence est qu'ils apprennent en s'entraînant sur de grands datasets of images et vidéos que les humains étiquettent à l'avance. Ces étiquettes agissent comme une ground truth, enseignant au modèle des choses comme ceci est un piéton, voici la limite d'une tumeur, ou cet objet est une voiture.

Les visuels du monde réel sont rarement propres ou cohérents. L'éclairage peut changer et rendre le même objet différent. Les personnes et les véhicules peuvent se chevaucher ou être partiellement cachés. Les arrière-plans peuvent être chargés et distrayants. Lorsque les datasets incluent des étiquettes minutieuses et cohérentes dans ces situations, les modèles sont bien mieux préparés à ce qu'ils rencontreront en dehors des environnements contrôlés.

Data annotation est aussi plus que simplement dessiner des boîtes ou tracer des contours. Cela implique d'appliquer des directives et de prendre des décisions pratiques sur ce qui compte comme l'objet, où sa limite devrait être, et que faire quand quelque chose n'est pas clair. Ce jugement humain garde les données précises et exploitables.

Au final, un système de computer vision n'est performant qu'en fonction des données étiquetées sur lesquelles il apprend. Dans des applications à fort impact comme la détection du cancer dans des examens ou la détection de dangers routiers pour les voitures autonomes, des étiquettes précises provenant de personnes qualifiées font une réelle différence en matière de précision et de sécurité.

Link to this sectionLa montée de l'automatisation dans l'annotation de données#

À mesure que la computer vision se développe et que les datasets grandissent, l'automatisation devient un moyen courant d'accélérer l'annotation. Au lieu d'étiqueter tout à la main, les équipes utilisent des modèles d'IA pour produire un premier passage d'étiquettes.

Les humains examinent ensuite les résultats, corrigent les erreurs et traitent les cas que le modèle ne peut pas étiqueter avec confiance. Cette approche accélère l'annotation tout en maintenant une qualité élevée.

Voici quelques façons dont l'automatisation aide généralement à l'annotation de données :

• Auto segmentation : Les modèles peuvent suggérer automatiquement des contours d'objets ou des masques au niveau des pixels, ce qui réduit la quantité de traçage manuel que les annotateurs doivent effectuer.
• Optical flow tracking : En ce qui concerne les vidéos, les méthodes de suivi peuvent suivre un objet en mouvement à travers les images et porter son étiquette, aidant à maintenir des annotations cohérentes au fil du temps.
• Frame interpolation : Les outils peuvent remplir les étiquettes pour les images entre deux images étiquetées en utilisant des indices de mouvement et de suivi, afin que les annotateurs n'aient pas à étiqueter chaque image individuellement.
• Active learning : Les pipelines d'entraînement peuvent identifier les exemples pour lesquels le modèle est incertain ou inhabituel et les envoyer aux humains en priorité, afin que l'effort manuel soit concentré sur les données qui améliorent le plus les performances.

Link to this sectionPourquoi l'annotation de données humaine reste si cruciale#

Bien que l'automatisation puisse accélérer l'étiquetage, les modèles d'IA ont toujours besoin du jugement humain pour rester précis et fiables.

Voici quelques domaines clés où l'expertise humaine a un impact sur l'annotation de données :

• Compréhension du contexte : Les images et vidéos réelles sont souvent désordonnées. Les ombres, reflets, flous de mouvement et objets qui se chevauchent peuvent confondre les outils automatisés. Les annotateurs humains peuvent interpréter ce qui se passe réellement, rendant les étiquettes plus précises.
• Maintenir la cohérence des étiquettes : À mesure que les datasets grandissent, les étiquettes automatisées peuvent dériver ou varier selon les lots. Les humains peuvent auditer, corriger et aligner les étiquettes pour que le dataset reste cohérent du début à la fin.
• Réduction des biais et des préjudices : Les gens sont meilleurs pour repérer les contenus sensibles, les nuances culturelles et les modèles qui pourraient introduire des biais. Leur supervision aide à rendre les datasets plus équitables et évite des préjudices involontaires.
• Application d'une expertise métier : Certaines tâches nécessitent des connaissances spécifiques, comme l'identification d'anomalies médicales ou de défauts industriels. Les experts peuvent fournir des étiquettes précises et résoudre des cas ambigus pour que le modèle apprenne les bons détails.

Link to this sectionUn aperçu de l'annotation avec intervention humaine#

Les outils et plateformes d'annotation comme Roboflow intègrent l'automatisation pour accélérer l'étiquetage, souvent en utilisant des modèles de fondation comme Segment Anything Model 3 ou SAM3. SAM3 est le modèle de fondation de segmentation incitable de Meta AI.

Il peut détecter, segmenter et suivre des objets dans des images et des vidéos à partir d'invites simples comme des clics, des bounding boxes ou de courtes phrases textuelles, produisant des masques de segmentation pour les objets correspondants sans nécessiter d'entraînement spécifique à la tâche pour chaque nouvelle catégorie.

Même avec ces approches de pointe, des experts humains sont toujours nécessaires pour examiner et finaliser les annotations. Lorsque les outils automatisés produisent une première ébauche, et que les humains la vérifient, la corrigent et l'affinent, le workflow est connu sous le nom d'annotation avec intervention humaine. Cela maintient une annotation rapide tout en garantissant que les étiquettes finales sont suffisamment précises et cohérentes pour entraîner des modèles fiables.

Fig 2. Un aperçu de l'annotation avec intervention humaine. (Source)

Link to this sectionQuand l'automatisation pour l'annotation fonctionne et quand elle échoue#

L'annotation automatisée fonctionne mieux pour les données provenant d'environnements contrôlés. Les images collectées dans des usines, entrepôts ou allées de vente au détail ont généralement un éclairage stable et des vues claires des objets, donc les outils automatisés peuvent les étiqueter précisément et aider les équipes à passer à l'échelle plus rapidement avec moins de travail manuel.

Les données provenant d'endroits moins contrôlés sont plus complexes. Les images en extérieur changent selon l'heure de la journée et la météo, et les scènes de rue ou de maison incluent souvent du désordre, des flous de mouvement, des objets qui se bloquent mutuellement et beaucoup de chevauchements. Les petits objets, les limites fines ou les situations rares ajoutent encore plus de place à l'erreur. Un modèle qui fonctionne bien sur des données d'intérieur propres peut encore peiner sur des visuels réels désordonnés.

C'est pourquoi l'apport humain compte toujours. Les gens peuvent intervenir lorsque le modèle est incertain, interpréter un contexte délicat et corriger des erreurs avant qu'elles ne finissent dans le dataset final. L'annotation avec intervention humaine aide l'automatisation à rester ancrée dans les conditions du monde réel et maintient les modèles fiables après leur déploiement.

Link to this sectionOù l'annotation avec intervention humaine peut-elle faire la différence ?#

Maintenant que nous avons vu où l'automatisation fonctionne bien et où elle échoue, explorons quelques applications où l'annotation avec intervention humaine joue un rôle important.

Link to this sectionDétection de défauts dans la fabrication#

Considère un tapis roulant d'usine où des centaines de pièces passent sous une caméra chaque minute. La plupart des défauts sont évidents, mais de temps en temps, une fine fissure apparaît sous un angle étrange ou sous le reflet d'une lumière. Un système automatisé pourrait la manquer ou l'étiqueter comme une texture de surface inoffensive, mais un réviseur humain peut repérer le défaut, corriger l'annotation et s'assurer que le modèle apprend la différence.

C'est le rôle de l'annotation avec intervention humaine dans l'inspection industrielle. L'automatisation peut pré-étiqueter les types de défauts courants et accélérer le traitement de gros volumes d'images, mais les humains doivent toujours vérifier les résultats, resserrer les limites et gérer les défaillances rares qui n'apparaissent pas souvent lors de l'entraînement.

Link to this sectionVéhicules autonomes et transport intelligent#

De même, les véhicules autonomes utilisent la computer vision pour repérer les piétons, lire les panneaux et naviguer dans le trafic, mais les routes réelles sont imprévisibles. Par exemple, un piéton sortant de derrière une voiture garée la nuit peut être partiellement caché et difficile à voir sous les reflets.

Fig 3. Un exemple d'utilisation de la computer vision pour analyser le trafic. (Source)

Les annotateurs humains peuvent étiqueter ces cas limites rares et critiques pour la sécurité pendant l'entraînement afin que les modèles apprennent la bonne réponse, non seulement dans des conditions normales, mais dans les moments qui comptent le plus. Cette étape d'intervention humaine est clé pour apprendre aux systèmes à gérer des événements à basse fréquence qui sont difficiles à capturer avec l'automatisation seule.

Link to this sectionLa voie à suivre pour les datasets annotés par des humains#

L'annotation avec intervention humaine devient plus collaborative à mesure que la technologie avance. Il est intéressant de noter que les vision language models (VLM), qui apprennent à la fois à partir d'images et de texte, sont maintenant utilisés pour créer un premier passage d'étiquettes et suggérer des corrections à partir d'invites simples.

Ainsi, au lieu de scanner manuellement chaque image pour décider quoi étiqueter, un annotateur peut demander à un VLM avec une phrase comme « étiquette tous les piétons, voitures et feux de signalisation » ou « segmente tous les défauts sur cette pièce », et obtenir un ensemble d'annotations à réviser.

Fig 4. Les grands modèles multimodaux peuvent travailler avec des annotateurs humains (Source)

Cela réduit le temps d'annotation car le modèle peut gérer de nombreux cas simples à l'avance, ainsi les humains peuvent se concentrer sur l'examen des résultats, la correction d'exemples délicats et le maintien de la cohérence du dataset. Les grands modèles multimodaux commencent également à guider les annotateurs vers les échantillons les plus incertains, rendant l'effort humain plus ciblé et améliorant la qualité globale du dataset.

Link to this sectionPoints clés#

La computer vision aide les machines à interpréter et à réagir à ce qu'elles voient, mais cela fonctionne mieux avec l'expertise humaine dans la boucle. Les données annotées par des humains maintiennent les modèles ancrés dans les conditions réelles et améliorent la fiabilité de leurs performances. Avec l'automatisation et le jugement humain travaillant côte à côte, les équipes peuvent construire des systèmes de vision percutants.

Rejoins notre community active et explore des innovations comme AI in logistics et Vision AI in robotics. Visite notre GitHub repository pour en découvrir plus. Pour commencer avec la computer vision dès aujourd'hui, jette un œil à nos licensing options.