Fiabilité inter-évaluateurs : définition, exemples, calculs

Lorsque tu conçois un modèle d'IA, la qualité de tes données est tout aussi importante que les algorithmes qui les sous-tendent. Chaque fois que plusieurs personnes étiquettent ou examinent les mêmes données, des désaccords sont inévitables. C'est vrai dans de nombreux domaines, notamment la recherche, la santé et l'éducation.

En particulier, en computer vision, une branche de l'IA qui consiste à entraîner des modèles comme Ultralytics YOLO11 à interpréter des données visuelles telles que des images ou des vidéos, les exemples étiquetés jouent un rôle crucial. Si ces étiquettes ne sont pas cohérentes, les modèles de computer vision peuvent avoir du mal à apprendre les bons motifs.

La fiabilité inter-évaluateurs (IRR) mesure à quel point différentes personnes, ou évaluateurs, sont cohérentes dans leurs jugements sur une tâche donnée. Elle permet de surveiller la cohérence et d'identifier les lacunes dans la formation, les directives ou l'interprétation. Cela est particulièrement important dans l'entraînement de modèles personnalisés, où les modèles d'IA sont construits en utilisant des données spécifiques pour un objectif particulier.

Dans cet article, nous allons explorer ce qu'est la fiabilité inter-évaluateurs, comment la mesurer et comment l'améliorer dans des projets réels. Commençons !

Qu'est-ce que la fiabilité inter-évaluateurs ?#

La fiabilité inter-évaluateurs mesure la fréquence à laquelle deux personnes ou plus (également appelées évaluateurs) s'accordent lors de l'étiquetage, de la notation ou de l'examen d'un même contenu. Elle sert à vérifier la cohérence avec laquelle différents évaluateurs utilisent des critères donnés. Un accord élevé entre les évaluateurs signifie qu'une tâche est bien définie et clairement comprise.

Ce concept est utilisé dans différents domaines. Selon le domaine, il est connu sous différents noms, tels que l'accord inter-évaluateurs, la fiabilité inter-observateurs ou la fiabilité inter-codeurs. Cependant, le principe sous-jacent reste le même.

Dans l'IA de vision, la fiabilité inter-annotateurs est un élément clé du processus d'étiquetage des données. L'entraînement de computer vision models nécessite souvent l'étiquetage de vastes ensembles de données d'images ou de séquences vidéo, de sorte que plusieurs développeurs d'IA travaillent ensemble sur les mêmes données.

Pour obtenir des résultats précis, ils doivent suivre les mêmes directives d'étiquetage. Par exemple, lors de l'étiquetage d'animaux, tout le monde doit être clairement d'accord sur ce qui compte comme un chien, comment dessiner la bbox autour de lui, et s'il faut étiqueter ou ignorer les objets flous.

Fig 1. Comprendre la fiabilité inter-évaluateurs (Image de l'auteur)

Fiabilité inter-évaluateurs vs intra-évaluateur et fiabilité test-retest#

Lorsque des personnes sont impliquées dans l'étiquetage ou la notation de données, il y a trois principaux types de fiabilité à considérer. Chacun sert un objectif différent pour mesurer la cohérence des résultats. Voici un examen plus approfondi de chacun :

• Fiabilité inter-évaluateurs : La fiabilité inter-évaluateurs examine le degré d'accord entre différentes personnes effectuant la même tâche. C'est particulièrement utile lorsque plusieurs annotateurs sont impliqués dans des projets tels que l'étiquetage d'images, l'analyse de sentiment ou les examens médicaux.

• Fiabilité intra-évaluateur : Elle déplace l'attention sur une seule personne. La fiabilité intra-évaluateur vérifie si l'évaluateur reste cohérent en répétant la même tâche à différents moments. Si les étiquettes changent trop, cela pourrait être le résultat de directives floues ou d'un manque de clarté dans la tâche.

• Fiabilité test-retest : La fiabilité test-retest ne se concentre pas sur l'annotateur mais sur l'outil ou la méthode utilisée. Elle mesure si le même résultat apparaît lorsque le test est répété dans des conditions similaires. Si la sortie reste cohérente, la méthode est considérée comme fiable.

Ensemble, ces mesures aident à confirmer que les personnes et les processus produisent des résultats stables et dignes de confiance.

Fig 2. Un aperçu de la fiabilité inter-évaluateurs, intra-évaluateur et test-retest (Image de l'auteur)

Pourquoi la fiabilité inter-évaluateurs est-elle importante ?#

Dans les projets d'IA visuelle à grande échelle, la qualité des données étiquetées affecte directement la performance d'un modèle. Même de petites différences dans la façon dont les annotateurs appliquent les directives peuvent introduire des incohérences qui perturbent le modèle pendant l'entraînement. Au fil du temps, cela peut conduire à des prédictions inexactes, à un gaspillage de ressources et à la nécessité d'un ré-étiquetage coûteux.

Mesurer la fiabilité inter-annotateurs aide à repérer ces problèmes rapidement. Un accord élevé signifie que les annotateurs sont alignés, ce qui produit des datasets plus propres et plus fiables. Un accord faible indique que les consignes, les exemples ou l'entraînement doivent peut-être être affinés avant que le projet n'avance. En veillant à ce que les étiqueteurs travaillent en phase, ton équipe peut construire des modèles d'IA qui apprennent plus efficacement et offrent de meilleurs résultats dans des applications concrètes.

Considérations pratiques pour la fiabilité inter-évaluateurs#

Voici quelques considérations pratiques clés à garder à l'esprit lorsque tu travailles avec plusieurs évaluateurs et que tu cherches à maintenir une fiabilité inter-évaluateurs élevée :

• Tâches ambiguës ou subjectives : Lorsque l'étiquetage implique une interprétation, comme décider si un objet flou est un piéton ou juger la qualité d'une image, plusieurs évaluateurs aident à garantir que les décisions sont cohérentes et ne sont pas indûment influencées par des biais individuels.
• Tâches simples et objectives : Les tâches directes comme counting le nombre de voitures sur une image ou confirmer si un objet est présent ne nécessitent souvent qu'un seul annotateur bien formé, car l'accord est généralement élevé une fois que le processus est clairement défini.
• Directives d'étiquetage claires : Des instructions détaillées et faciles à suivre réduisent l'incertitude sur la façon dont les étiquettes sont appliquées, ce qui améliore l'accord entre les évaluateurs. Les directives doivent explicitement couvrir les cas limites pour éviter des interprétations incohérentes.
• Formation et calibrage périodiques : Même les évaluateurs expérimentés peuvent dériver dans leurs jugements avec le temps. Des sessions de formation régulières et des vérifications de calibrage aident à maintenir la cohérence et à minimiser le biais de l'expérimentateur.

Mesures de la fiabilité inter-évaluateurs#

Il existe plusieurs façons de mesurer la fiabilité inter-évaluateurs, et le meilleur choix dépend du type de données et de la tâche. Certaines méthodes fonctionnent bien pour des évaluateurs uniques traitant des questions simples par oui ou non, tandis que d'autres sont conçues pour des situations impliquant plusieurs évaluateurs.

Les approches courantes incluent le pourcentage d'accord, le Kappa de Cohen, le Kappa de Fleiss et le coefficient de corrélation intraclasse. Chaque méthode mesure le niveau d'accord entre les évaluateurs et prend en compte la possibilité qu'un certain accord puisse se produire par hasard.

Kappa de Cohen et Kappa de Fleiss#

Le Kappa de Cohen est une méthode largement utilisée pour mesurer la fiabilité inter-évaluateurs entre deux évaluateurs. Il calcule la fréquence à laquelle ils s'accordent sur une tâche, tout en ajustant la possibilité qu'un certain accord puisse se produire par hasard. Les scores vont de -1 à 1, 1 indiquant un accord parfait et 0 signifiant que l'accord n'est pas meilleur qu'un choix aléatoire.

De même, le Kappa de Fleiss est utilisé lorsque plus de deux annotateurs interviennent. Il fournit un score global qui montre à quel point le groupe est cohérent. Les deux méthodes sont utilisées pour des tâches avec des catégories définies, comme labeling images ou l'étiquetage des émotions. Elles sont faciles à calculer et prises en charge par la plupart des outils d'annotation.

Pourcentage d'accord et coefficient de corrélation intraclasse (ICC)#

Une autre façon de mesurer la fiabilité inter-évaluateurs est le pourcentage d'accord, qui calcule le pourcentage de fois où les évaluateurs prennent la même décision. Bien qu'il soit simple à utiliser, il ne tient pas compte de l'accord qui pourrait se produire par hasard.

Pendant ce temps, le coefficient de corrélation intraclasse est une méthode plus avancée utilisée pour les données continues ou basées sur une échelle. Il mesure la cohérence des notations entre plusieurs évaluateurs et est souvent appliqué dans la recherche qui implique des scores, des mesures ou d'autres types de données au-delà des catégories fixes.

Exemples et applications de la fiabilité inter-évaluateurs#

Maintenant que nous comprenons mieux comment mesurer la fiabilité inter-évaluateurs, voyons comment ces méthodes peuvent être utilisées dans des applications réelles.

Fiabilité inter-évaluateurs dans l'annotation d'imagerie médicale#

En matière de medical imaging, même des différences mineures d'interprétation peuvent entraîner des changements importants dans les résultats. Par exemple, les radiologues sont souvent invités à identifier des motifs subtils, ambigus ou difficiles à définir. Lorsque ces motifs deviennent des données d'entraînement pour des systèmes d'IA, les enjeux sont plus importants. Si des experts étiquettent le même examen différemment, le modèle risque d'apprendre les mauvais motifs ou de ne rien apprendre du tout.

La fiabilité inter-annotateurs aide les équipes confrontées à ce type de données à évaluer la véritable cohérence des jugements d'experts. Par exemple, dans une étude récente portant sur retinal OCT scans, deux annotateurs ont étiqueté 500 images.

L'accord était élevé pour des caractéristiques claires comme les drusen (dépôts jaunes sous la rétine), avec un score kappa de 0,87. Mais pour des éléments plus difficiles à définir comme les foyers hyperréflectifs (petits points brillants vus dans les scans rétiniens), le score est tombé à 0,33. Cela montre que des caractéristiques plus claires et mieux définies ont tendance à produire des jugements d'experts plus cohérents, tandis que celles ambiguës laissent plus de place à l'interprétation.

Fig 3. Exemples d'étiquettes pour différentes caractéristiques liées aux maladies rétiniennes (Source)

Jeux de données de véhicules autonomes et fiabilité inter-évaluateurs#

L'entraînement de modèles d'IA pour un système de autonomous driving repose sur des étiquettes précises et cohérentes dans une grande variété de conditions routières. Les annotateurs travaillant sur ce type de projets sont généralement invités à identifier des piétons, des véhicules, des panneaux de signalisation et des marquages au sol, souvent dans des conditions de faible luminosité ou dans des scènes encombrées.

Ces décisions façonnent la façon dont le modèle apprend à réagir dans des environnements réels difficiles. La fiabilité inter-évaluateurs permet aux équipes de vérifier si ces étiquettes sont appliquées de la même manière par tous les annotateurs.

Fig 4. Aperçu des désaccords d'annotation (Source)

Au-delà de la fiabilité inter-évaluateurs : autres mesures d'assurance qualité#

Bien que la mesure de la fiabilité inter-annotateurs soit une étape cruciale dans la construction d'une AI solution, elle s'inscrit dans un processus d'assurance qualité plus large. Voici d'autres pratiques qui peuvent t'aider à améliorer la qualité des données à travers les équipes et les projets :

• Directives d'annotation claires : Les instructions doivent expliquer exactement comment appliquer les étiquettes afin que tout le monde travaille selon la même norme.
• Formation et calibrage : Des sessions régulières aident les annotateurs à rester alignés et leur donnent l'espace nécessaire pour poser des questions et s'adapter aux cas limites.
• Contrôles qualité continus : Des contrôles ponctuels et des exemples de référence peuvent détecter les erreurs tôt et maintenir une qualité élevée à mesure que le projet évolue.
• Résolution des désaccords : Lorsque les annotateurs sont en désaccord, il devrait y avoir un processus clair pour examiner ces cas et prendre des décisions finales.
• Vivier d'annotateurs diversifié : Impliquer des personnes ayant des antécédents différents peut réduire les biais et améliorer la façon dont le dataset représente la variation réelle.

Points clés#

La fiabilité inter-évaluateurs mesure la cohérence avec laquelle les personnes appliquent des étiquettes ou prennent des décisions. Des méthodes comme le Kappa de Cohen, le Kappa de Fleiss et l'ICC aident à quantifier cet accord. Avec des directives claires, une formation et un contrôle des biais, des annotations fiables mènent à des données plus robustes et à de meilleurs résultats de modèle.

Rejoins our community et explore notre GitHub repository pour en savoir plus sur l'IA. Si tu cherches à lancer ton propre projet de vision AI, consulte nos licensing options. Tu peux également découvrir comment AI in healthcare et vision AI in retail ont un impact en visitant nos pages de solutions.