Fiabilité inter-évaluateurs : définition, exemples, calculs

Lorsque tu conçois un modèle d'IA, la qualité de tes données est tout aussi importante que les algorithmes qui les sous-tendent. Chaque fois que plusieurs personnes étiquettent ou examinent les mêmes données, des désaccords sont inévitables. C'est vrai dans de nombreux domaines, notamment la recherche, la santé et l'éducation.

En particulier, en vision par ordinateur, une branche de l'IA qui implique l'entraînement de modèles comme Ultralytics YOLO11 pour interpréter des données visuelles telles que des images ou des vidéos, les exemples étiquetés jouent un rôle crucial. Si ces étiquettes sont incohérentes, les modèles de vision par ordinateur peuvent avoir du mal à apprendre les bons modèles.

La fiabilité inter-évaluateurs (IRR) mesure à quel point différentes personnes, ou évaluateurs, sont cohérentes dans leurs jugements sur une tâche donnée. Elle permet de surveiller la cohérence et d'identifier les lacunes dans la formation, les directives ou l'interprétation. Cela est particulièrement important dans l'entraînement de modèles personnalisés, où les modèles d'IA sont construits en utilisant des données spécifiques pour un objectif particulier.

Dans cet article, nous allons explorer ce qu'est la fiabilité inter-évaluateurs, comment la mesurer et comment l'améliorer dans des projets réels. Commençons !

Link to this sectionQu'est-ce que la fiabilité inter-évaluateurs ?#

La fiabilité inter-évaluateurs mesure la fréquence à laquelle deux personnes ou plus (également appelées évaluateurs) s'accordent lors de l'étiquetage, de la notation ou de l'examen d'un même contenu. Elle sert à vérifier la cohérence avec laquelle différents évaluateurs utilisent des critères donnés. Un accord élevé entre les évaluateurs signifie qu'une tâche est bien définie et clairement comprise.

Ce concept est utilisé dans différents domaines. Selon le domaine, il est connu sous différents noms, tels que l'accord inter-évaluateurs, la fiabilité inter-observateurs ou la fiabilité inter-codeurs. Cependant, le principe sous-jacent reste le même.

Dans l'IA visuelle, la fiabilité inter-évaluateurs est un élément clé du processus d'étiquetage des données. L'entraînement de modèles de vision par ordinateur nécessite souvent l'étiquetage de jeux de données massifs d'images ou d'images vidéo, donc plusieurs développeurs IA travaillent ensemble sur les mêmes données.

Pour obtenir des résultats précis, ils doivent suivre les mêmes directives d'étiquetage. Par exemple, lors de l'étiquetage d'animaux, tout le monde doit être clairement d'accord sur ce qui compte comme un chien, comment dessiner la bbox autour de lui, et s'il faut étiqueter ou ignorer les objets flous.

Fig 1. Comprendre la fiabilité inter-évaluateurs (Image de l'auteur)

Link to this sectionFiabilité inter-évaluateurs vs intra-évaluateur et fiabilité test-retest#

Lorsque des personnes sont impliquées dans l'étiquetage ou la notation de données, il y a trois principaux types de fiabilité à considérer. Chacun sert un objectif différent pour mesurer la cohérence des résultats. Voici un examen plus approfondi de chacun :

• Fiabilité inter-évaluateurs : La fiabilité inter-évaluateurs examine le degré d'accord entre différentes personnes effectuant la même tâche. C'est particulièrement utile lorsque plusieurs annotateurs sont impliqués dans des projets tels que l'étiquetage d'images, l'analyse de sentiment ou les examens médicaux.

• Fiabilité intra-évaluateur : Elle déplace l'attention sur une seule personne. La fiabilité intra-évaluateur vérifie si l'évaluateur reste cohérent en répétant la même tâche à différents moments. Si les étiquettes changent trop, cela pourrait être le résultat de directives floues ou d'un manque de clarté dans la tâche.

• Fiabilité test-retest : La fiabilité test-retest ne se concentre pas sur l'annotateur mais sur l'outil ou la méthode utilisée. Elle mesure si le même résultat apparaît lorsque le test est répété dans des conditions similaires. Si la sortie reste cohérente, la méthode est considérée comme fiable.

Ensemble, ces mesures aident à confirmer que les personnes et les processus produisent des résultats stables et dignes de confiance.

Fig 2. Un aperçu de la fiabilité inter-évaluateurs, intra-évaluateur et test-retest (Image de l'auteur)

Link to this sectionPourquoi la fiabilité inter-évaluateurs est-elle importante ?#

Dans les projets d'IA visuelle à grande échelle, la qualité des données étiquetées affecte directement la performance d'un modèle. Même de petites différences dans la façon dont les annotateurs appliquent les directives peuvent introduire des incohérences qui perturbent le modèle pendant l'entraînement. Au fil du temps, cela peut conduire à des prédictions inexactes, à un gaspillage de ressources et à la nécessité d'un ré-étiquetage coûteux.

Mesurer la fiabilité inter-évaluateurs aide à repérer ces problèmes tôt. Un accord élevé signifie que les annotateurs sont alignés, produisant des datasets plus propres et plus fiables. Un faible accord signale que les instructions, les exemples ou la formation doivent peut-être être affinés avant que le projet n'avance. En veillant à ce que les étiqueteurs travaillent en synchronisation, les équipes peuvent construire des modèles d'IA qui apprennent plus efficacement et fournissent de meilleurs résultats dans des applications réelles.

Link to this sectionConsidérations pratiques pour la fiabilité inter-évaluateurs#

Voici quelques considérations pratiques clés à garder à l'esprit lorsque tu travailles avec plusieurs évaluateurs et que tu cherches à maintenir une fiabilité inter-évaluateurs élevée :

• Tâches ambiguës ou subjectives : Lorsque l'étiquetage implique une interprétation, comme décider si un objet flou est un piéton ou juger la qualité d'une image, plusieurs évaluateurs aident à garantir que les décisions sont cohérentes et ne sont pas indûment influencées par des biais individuels.
• Tâches simples et objectives : Les tâches directes comme le comptage du nombre de voitures sur une image ou la confirmation de la présence d'un objet ne nécessitent souvent qu'un seul évaluateur bien formé, car l'accord est généralement élevé une fois que le processus est clairement défini.
• Directives d'étiquetage claires : Des instructions détaillées et faciles à suivre réduisent l'incertitude sur la façon dont les étiquettes sont appliquées, ce qui améliore l'accord entre les évaluateurs. Les directives doivent explicitement couvrir les cas limites pour éviter des interprétations incohérentes.
• Formation et calibrage périodiques : Même les évaluateurs expérimentés peuvent dériver dans leurs jugements avec le temps. Des sessions de formation régulières et des vérifications de calibrage aident à maintenir la cohérence et à minimiser le biais de l'expérimentateur.

Link to this sectionMesures de la fiabilité inter-évaluateurs#

Il existe plusieurs façons de mesurer la fiabilité inter-évaluateurs, et le meilleur choix dépend du type de données et de la tâche. Certaines méthodes fonctionnent bien pour des évaluateurs uniques traitant des questions simples par oui ou non, tandis que d'autres sont conçues pour des situations impliquant plusieurs évaluateurs.

Les approches courantes incluent le pourcentage d'accord, le Kappa de Cohen, le Kappa de Fleiss et le coefficient de corrélation intraclasse. Chaque méthode mesure le niveau d'accord entre les évaluateurs et prend en compte la possibilité qu'un certain accord puisse se produire par hasard.

Link to this sectionKappa de Cohen et Kappa de Fleiss#

Le Kappa de Cohen est une méthode largement utilisée pour mesurer la fiabilité inter-évaluateurs entre deux évaluateurs. Il calcule la fréquence à laquelle ils s'accordent sur une tâche, tout en ajustant la possibilité qu'un certain accord puisse se produire par hasard. Les scores vont de -1 à 1, 1 indiquant un accord parfait et 0 signifiant que l'accord n'est pas meilleur qu'un choix aléatoire.

De même, le Kappa de Fleiss est utilisé lorsque plus de deux évaluateurs sont impliqués. Il fournit un score global qui montre à quel point le groupe est cohérent. Les deux méthodes sont utilisées pour des tâches avec des catégories définies, comme l'étiquetage d'images ou le marquage d'émotions. Elles sont faciles à calculer et prises en charge par la plupart des outils d'annotation.

Link to this sectionPourcentage d'accord et coefficient de corrélation intraclasse (ICC)#

Une autre façon de mesurer la fiabilité inter-évaluateurs est le pourcentage d'accord, qui calcule le pourcentage de fois où les évaluateurs prennent la même décision. Bien qu'il soit simple à utiliser, il ne tient pas compte de l'accord qui pourrait se produire par hasard.

Pendant ce temps, le coefficient de corrélation intraclasse est une méthode plus avancée utilisée pour les données continues ou basées sur une échelle. Il mesure la cohérence des notations entre plusieurs évaluateurs et est souvent appliqué dans la recherche qui implique des scores, des mesures ou d'autres types de données au-delà des catégories fixes.

Link to this sectionExemples et applications de la fiabilité inter-évaluateurs#

Maintenant que nous comprenons mieux comment mesurer la fiabilité inter-évaluateurs, voyons comment ces méthodes peuvent être utilisées dans des applications réelles.

Link to this sectionFiabilité inter-évaluateurs dans l'annotation d'imagerie médicale#

Lorsqu'il s'agit d'imagerie médicale, même des différences mineures d'interprétation peuvent entraîner des changements significatifs dans les résultats. Par exemple, les radiologues sont souvent sollicités pour identifier des modèles subtils, ambigus ou difficiles à définir. Lorsque ces modèles deviennent des données d'entraînement pour des systèmes d'IA, les enjeux sont plus élevés. Si des experts étiquettent le même scan différemment, le modèle peut apprendre les mauvais modèles ou échouer complètement à apprendre.

La fiabilité inter-évaluateurs aide les équipes traitant ces données à évaluer la cohérence réelle des jugements d'experts. Par exemple, dans une étude récente axée sur les scans OCT rétiniens, deux évaluateurs ont étiqueté 500 images.

L'accord était élevé pour des caractéristiques claires comme les drusen (dépôts jaunes sous la rétine), avec un score kappa de 0,87. Mais pour des éléments plus difficiles à définir comme les foyers hyperréflectifs (petits points brillants vus dans les scans rétiniens), le score est tombé à 0,33. Cela montre que des caractéristiques plus claires et mieux définies ont tendance à produire des jugements d'experts plus cohérents, tandis que celles ambiguës laissent plus de place à l'interprétation.

Fig 3. Exemples d'étiquettes pour différentes caractéristiques liées aux maladies rétiniennes (Source)

Link to this sectionJeux de données de véhicules autonomes et fiabilité inter-évaluateurs#

L'entraînement de modèles d'IA pour un système de conduite autonome dépend d'étiquettes précises et cohérentes dans une large gamme de conditions routières. Les annotateurs travaillant sur de tels projets sont généralement invités à identifier les piétons, les véhicules, les panneaux de signalisation et les marquages au sol, souvent dans un faible éclairage ou dans des scènes encombrées.

Ces décisions façonnent la façon dont le modèle apprend à réagir dans des environnements réels difficiles. La fiabilité inter-évaluateurs permet aux équipes de vérifier si ces étiquettes sont appliquées de la même manière par tous les annotateurs.

Fig 4. Un regard sur les désaccords d'annotation (Source)

Link to this sectionAu-delà de la fiabilité inter-évaluateurs : autres mesures d'assurance qualité#

Bien que mesurer la fiabilité inter-évaluateurs soit une étape cruciale dans la construction d'une solution d'IA, cela fait partie d'un processus d'assurance qualité plus large. Voici quelques autres pratiques qui peuvent aider à améliorer la qualité des données entre les équipes et les projets :

• Directives d'annotation claires : Les instructions doivent expliquer exactement comment appliquer les étiquettes afin que tout le monde travaille selon la même norme.
• Formation et calibrage : Des sessions régulières aident les annotateurs à rester alignés et leur donnent l'espace nécessaire pour poser des questions et s'adapter aux cas limites.
• Contrôles qualité continus : Des contrôles ponctuels et des exemples de référence peuvent détecter les erreurs tôt et maintenir une qualité élevée à mesure que le projet évolue.
• Résolution des désaccords : Lorsque les annotateurs sont en désaccord, il devrait y avoir un processus clair pour examiner ces cas et prendre des décisions finales.
• Vivier d'annotateurs diversifié : Impliquer des personnes ayant des antécédents différents peut réduire les biais et améliorer la façon dont le dataset représente la variation réelle.

Link to this sectionPoints clés#

La fiabilité inter-évaluateurs mesure la cohérence avec laquelle les personnes appliquent des étiquettes ou prennent des décisions. Des méthodes comme le Kappa de Cohen, le Kappa de Fleiss et l'ICC aident à quantifier cet accord. Avec des directives claires, une formation et un contrôle des biais, des annotations fiables mènent à des données plus robustes et à de meilleurs résultats de modèle.

Rejoins notre communauté et explore notre dépôt GitHub pour en découvrir plus sur l'IA. Si tu cherches à démarrer ton propre projet de vision par IA, consulte nos options de licence. Tu peux également voir comment l'IA dans la santé et la vision par IA dans le commerce de détail ont un impact en visitant nos pages de solutions.