Fiabilité interévaluateurs : définition, exemples et calculs

Lorsque tu développes un modèle d’IA, la qualité de tes données est tout aussi importante que les algorithmes qui le sous-tendent. Chaque fois que plusieurs personnes annotent ou examinent les mêmes données, des désaccords sont inévitables. Cela est vrai dans de nombreux domaines, notamment la recherche, la santé et l’éducation.

En particulier, dans la vision par ordinateur, une branche de l’IA qui consiste à entraîner des modèles comme Ultralytics YOLO11 pour interpréter des données visuelles telles que des images ou des vidéos, les exemples annotés jouent un rôle crucial. Si ces annotations sont incohérentes, les modèles de vision par ordinateur peuvent avoir du mal à apprendre les bons schémas.

La fiabilité inter-évaluateurs (IRR) mesure la constance avec laquelle différentes personnes, ou annotateurs, s’accordent sur une tâche. Elle permet de surveiller la cohérence et d’identifier les lacunes en matière de formation, de directives ou d’interprétation. Cela est particulièrement important pour l’entraînement de modèles personnalisés, dans lequel les modèles d’IA sont construits à partir de données spécifiques pour un objectif particulier.

Dans cet article, nous allons découvrir ce qu’est la fiabilité inter-évaluateurs, comment la mesurer et comment l’améliorer dans des projets concrets. Commençons !

Qu’est-ce que la fiabilité inter-évaluateurs ?#

La fiabilité inter-évaluateurs mesure la fréquence à laquelle deux personnes ou plus (également appelées évaluateurs) sont d’accord lorsqu’elles annotent, évaluent ou examinent le même contenu. Elle permet de vérifier la cohérence avec laquelle différents évaluateurs appliquent les critères donnés. Un niveau d’accord élevé entre les évaluateurs signifie que la tâche est bien définie et clairement comprise.

Ce concept est utilisé dans différents domaines. Selon le domaine, il porte différents noms, comme accord inter-évaluateurs, fiabilité inter-observateurs ou fiabilité inter-codeurs. Toutefois, le principe sous-jacent reste le même.

Dans l’IA appliquée à la vision, la fiabilité inter-évaluateurs est un élément clé du processus d’annotation des données. L’entraînement de modèles de vision par ordinateur nécessite souvent d’annoter d’immenses jeux de données d’images ou d’images vidéo ; plusieurs développeurs IA travaillent donc ensemble sur les mêmes données.

Pour obtenir des résultats précis, ils doivent suivre les mêmes directives d’annotation. Par exemple, lors de l’annotation d’animaux, tout le monde doit être clairement d’accord sur ce qui constitue un chien, sur la manière de tracer la BBox autour de celui-ci et sur le fait d’annoter ou d’ignorer les objets flous.

Fig. 1. Comprendre la fiabilité inter-évaluateurs (image de l’auteur)

Fiabilité inter-évaluateurs, intra-évaluateur et test-retest#

Lorsque des personnes participent à l’annotation ou à l’évaluation de données, il existe trois principaux types de fiabilité à prendre en compte. Chacun sert un objectif différent pour mesurer la cohérence des résultats. Voici un aperçu de chacun d’entre eux :

• Fiabilité inter-évaluateurs : La fiabilité inter-évaluateurs examine le niveau d’accord entre différentes personnes effectuant la même tâche. Elle est particulièrement utile lorsque plusieurs annotateurs participent à des projets comme l’annotation d’images, l’analyse des sentiments ou les examens médicaux.

• Fiabilité intra-évaluateur : Elle se concentre sur une seule personne. La fiabilité intra-évaluateur vérifie si l’évaluateur reste cohérent lorsqu’il répète la même tâche à différents moments. Si les annotations changent trop, cela peut être dû à des directives peu claires ou à un manque de clarté de la tâche.

• Fiabilité test-retest : La fiabilité test-retest ne se concentre pas sur l’annotateur, mais sur l’outil ou la méthode utilisé. Elle mesure si le même résultat apparaît lorsque le test est répété dans des conditions similaires. Si le résultat reste cohérent, la méthode est considérée comme fiable.

Ensemble, ces mesures permettent de confirmer que les personnes et les processus produisent des résultats stables et fiables.

Fig. 2. Vue d’ensemble des fiabilités inter-évaluateurs, intra-évaluateur et test-retest (image de l’auteur)

Pourquoi la fiabilité inter-évaluateurs est-elle importante ?#

Dans les projets d’IA appliquée à la vision à grande échelle, la qualité des données annotées influe directement sur les performances d’un modèle. Même de petites différences dans l’application des directives par les annotateurs peuvent introduire des incohérences qui perturbent le modèle pendant l’entraînement. Au fil du temps, cela peut entraîner des prédictions inexactes, un gaspillage de ressources et la nécessité de réannoter les données à grands frais.

Mesurer la fiabilité inter-évaluateurs aide à détecter rapidement ces problèmes. Un niveau d’accord élevé signifie que les annotateurs sont alignés et produisent des jeux de données plus propres et plus fiables. Un faible niveau d’accord indique que les instructions, les exemples ou la formation doivent peut-être être affinés avant la poursuite du projet. En veillant à ce que les annotateurs travaillent de manière synchronisée, les équipes peuvent créer des modèles d’IA qui apprennent plus efficacement et fournissent de meilleurs résultats dans des applications concrètes.

Considérations pratiques pour la fiabilité inter-évaluateurs#

Voici quelques considérations pratiques importantes à garder à l’esprit lorsque tu travailles avec plusieurs évaluateurs et que tu cherches à maintenir une fiabilité inter-évaluateurs élevée :

• Tâches ambiguës ou subjectives : Lorsque l’annotation implique une interprétation, par exemple pour déterminer si un objet flou est un piéton ou pour évaluer la qualité d’une image, plusieurs évaluateurs contribuent à garantir la cohérence des décisions et à éviter qu’elles soient trop influencées par les biais individuels.
• Tâches simples et objectives : Les tâches simples, comme compter le nombre de voitures dans une image ou confirmer la présence d’un objet, ne nécessitent souvent qu’un seul évaluateur bien formé, car l’accord est généralement élevé une fois le processus clairement défini.
• Directives d’annotation claires : Des instructions détaillées et faciles à suivre réduisent l’incertitude quant à l’application des annotations, ce qui améliore l’accord entre les évaluateurs. Les directives doivent couvrir explicitement les cas particuliers afin d’éviter les interprétations incohérentes.
• Formation et étalonnage périodiques : Même les évaluateurs expérimentés peuvent voir leurs jugements évoluer au fil du temps. Des sessions de formation régulières et des vérifications d’étalonnage contribuent à maintenir la cohérence et à réduire le biais de l’expérimentateur.

Mesures de la fiabilité inter-évaluateurs#

Il existe plusieurs façons de mesurer la fiabilité inter-évaluateurs, et le meilleur choix dépend du type de données et de la tâche. Certaines méthodes conviennent aux évaluateurs uniques traitant des questions simples par oui ou non, tandis que d’autres sont conçues pour les situations impliquant plusieurs évaluateurs.

Les approches courantes incluent le pourcentage d’accord, le Kappa de Cohen, le Kappa de Fleiss et le coefficient de corrélation intraclasse. Chaque méthode mesure le niveau d’accord entre les évaluateurs et tient compte de la possibilité qu’une partie de cet accord soit due au hasard.

Kappa de Cohen et Kappa de Fleiss#

Le Kappa de Cohen est une méthode largement utilisée pour mesurer la fiabilité inter-évaluateurs entre deux évaluateurs. Il calcule la fréquence à laquelle ils sont d’accord sur une tâche, tout en tenant compte de la possibilité qu’une partie de l’accord soit due au hasard. Les scores vont de -1 à 1 : 1 indique un accord parfait et 0 signifie que l’accord ne dépasse pas celui obtenu par des devinettes aléatoires.

De même, le Kappa de Fleiss est utilisé lorsque plus de deux évaluateurs participent. Il fournit un score global qui indique le niveau de cohérence du groupe. Les deux méthodes sont utilisées pour des tâches comportant des catégories définies, comme l’annotation d’images ou l’étiquetage des émotions. Elles sont faciles à calculer et prises en charge par la plupart des outils d’annotation.

Pourcentage d’accord et coefficient de corrélation intraclasse (ICC)#

Une autre façon de mesurer la fiabilité inter-évaluateurs consiste à utiliser le pourcentage d’accord, qui calcule le pourcentage de fois où les évaluateurs prennent la même décision. Bien que cette méthode soit simple à utiliser, elle ne tient pas compte des accords qui pourraient être dus au hasard.

Le coefficient de corrélation intraclasse est quant à lui une méthode plus avancée, utilisée pour les données continues ou fondées sur une échelle. Il mesure la cohérence des évaluations entre plusieurs évaluateurs et est souvent appliqué dans les recherches portant sur des scores, des mesures ou d’autres types de données allant au-delà des catégories fixes.

Exemples et applications de la fiabilité inter-évaluateurs#

Maintenant que nous comprenons mieux comment mesurer la fiabilité inter-évaluateurs, voyons comment ces méthodes peuvent être utilisées dans des applications concrètes.

Fiabilité inter-évaluateurs dans l’annotation d’images médicales#

En ce qui concerne l’imagerie médicale, même de légères différences d’interprétation peuvent entraîner des changements importants dans les résultats. Par exemple, on demande souvent aux radiologues d’identifier des schémas subtils, ambigus ou difficiles à définir. Lorsque ces schémas deviennent des données d’entraînement pour des systèmes d’IA, les enjeux sont plus importants. Si les experts annotent différemment le même examen, le modèle risque d’apprendre de mauvais schémas ou de ne pas apprendre du tout.

La fiabilité inter-évaluateurs aide les équipes qui travaillent avec ce type de données à évaluer la réelle cohérence des jugements des experts. Par exemple, dans une étude récente consacrée aux scans OCT rétiniens, deux évaluateurs ont annoté 500 images.

L’accord était élevé pour les caractéristiques clairement définies, comme les drusen (dépôts jaunes sous la rétine), avec un score kappa de 0,87. En revanche, pour les éléments plus difficiles à définir, comme les foyers hyperréflectifs (petites taches brillantes visibles sur les scans rétiniens), le score est tombé à 0,33. Cela montre que les caractéristiques plus claires et mieux définies tendent à produire des jugements d’experts plus cohérents, tandis que les éléments ambigus laissent davantage de place à l’interprétation.

Fig. 3. Exemples d’annotations pour différentes caractéristiques liées aux maladies rétiniennes (Source)

Jeux de données de véhicules autonomes et fiabilité inter-évaluateurs#

L’entraînement de modèles d’IA pour un système de conduite autonome dépend d’annotations précises et cohérentes dans un large éventail de conditions routières. Les annotateurs travaillant sur ces projets doivent généralement identifier les piétons, les véhicules, les panneaux de signalisation et les marquages au sol, souvent dans des conditions de faible luminosité ou dans des scènes encombrées.

Ces décisions déterminent la manière dont le modèle apprend à réagir dans des environnements réels difficiles. La fiabilité inter-évaluateurs permet aux équipes de vérifier que ces annotations sont appliquées de la même manière par tous les annotateurs.

Fig. 4. Un aperçu des désaccords lors de l’annotation (Source)

Au-delà de la fiabilité inter-évaluateurs : autres mesures d’assurance qualité#

Bien que mesurer la fiabilité inter-évaluateurs soit une étape cruciale dans la création d’une solution d’IA, cela s’inscrit dans un processus d’assurance qualité plus large. Voici quelques autres pratiques qui peuvent contribuer à améliorer la qualité des données au sein des équipes et des projets :

• Directives d’annotation claires : Les instructions doivent expliquer précisément comment appliquer les annotations afin que tout le monde travaille selon le même standard.
• Formation et étalonnage : Des sessions régulières aident les annotateurs à rester alignés, leur permettent de poser des questions et de s’adapter aux cas particuliers.
• Contrôles qualité continus : Des contrôles ponctuels et des exemples de référence peuvent détecter rapidement les erreurs et maintenir un niveau de qualité élevé à mesure que le projet prend de l’ampleur.
• Résolution des désaccords : Lorsque les annotateurs ne sont pas d’accord, un processus clair doit permettre d’examiner ces cas et de prendre les décisions finales.
• Diversité des annotateurs : Faire participer des personnes aux profils variés peut réduire les biais et améliorer la représentativité du jeu de données par rapport à la diversité du monde réel.

Points clés à retenir#

La fiabilité inter-évaluateurs mesure la cohérence avec laquelle les personnes appliquent des annotations ou prennent des décisions. Des méthodes comme le Kappa de Cohen, le Kappa de Fleiss et l’ICC permettent de quantifier cet accord. Avec des directives claires, une formation adaptée et un contrôle des biais, des annotations fiables produisent des données plus solides et de meilleurs résultats pour les modèles.

Rejoins notre communauté et explore notre dépôt GitHub pour en apprendre davantage sur l’IA. Si tu souhaites lancer ton propre projet d’IA appliquée à la vision, consulte nos options de licence. Tu peux également découvrir comment l’IA dans le secteur de la santé et l’IA appliquée à la vision dans le commerce de détail ont un impact en visitant nos pages dédiées aux solutions.