Fiabilité interévaluateurs : définition, exemples et calculs

Lors de la création d’un modèle d’IA, la qualité de tes données est aussi importante que les algorithmes qui le sous-tendent. Lorsque plusieurs personnes annotent ou examinent les mêmes données, des désaccords sont inévitables. C’est le cas dans de nombreux domaines, notamment la recherche, les soins de santé et l’éducation.

En particulier, en vision par ordinateur, une branche de l’IA qui consiste à entraîner des modèles comme Ultralytics YOLO11 à interpréter des données visuelles telles que des images ou des vidéos, les exemples annotés jouent un rôle essentiel. Si ces annotations sont incohérentes, les modèles de vision par ordinateur peuvent avoir du mal à apprendre les bons motifs.

La fiabilité inter-évaluateurs (IRR) mesure la cohérence avec laquelle différentes personnes, ou annotateurs, s’accordent sur une tâche. Elle permet de surveiller la cohérence et de repérer les lacunes dans la formation, les consignes ou l’interprétation. C’est particulièrement important pour l’entraînement de modèles personnalisés, où les modèles d’IA sont créés à partir de données spécifiques à un objectif donné.

Dans cet article, nous allons voir ce qu’est la fiabilité inter-évaluateurs, comment la mesurer et comment l’améliorer dans des projets concrets. C’est parti !

Qu’est-ce que la fiabilité inter-évaluateurs ?#

La fiabilité inter-évaluateurs mesure la fréquence à laquelle deux personnes ou plus (également appelées évaluateurs) s’accordent lorsqu’elles annotent, évaluent ou examinent le même contenu. Elle sert à vérifier la cohérence avec laquelle différents évaluateurs appliquent les critères définis. Un accord élevé entre les évaluateurs indique que la tâche est bien définie et clairement comprise.

Ce concept est utilisé dans différents domaines. Selon le domaine, il porte des noms différents, comme accord inter-évaluateurs, fiabilité interobservateurs ou fiabilité intercodage. Le principe sous-jacent reste toutefois le même.

Dans le domaine de l’IA visuelle, la fiabilité interévaluateurs est un élément essentiel du processus d’étiquetage des données. L’entraînement de modèles de vision par ordinateur nécessite souvent l’annotation de vastes jeux de données d’images ou d’images vidéo, si bien que plusieurs annotateurs travaillent souvent sur les mêmes données.

Pour obtenir des résultats précis, ils doivent suivre les mêmes consignes d’annotation. Par exemple, pour annoter des animaux, tout le monde doit s’entendre clairement sur ce qui constitue un chien, sur la manière de tracer la boîte englobante autour de lui et sur la nécessité d’annoter ou d’ignorer les objets flous.

Fig. 1. Comprendre la fiabilité inter-évaluateurs (image de l’auteur)

Fiabilité inter-évaluateurs, fiabilité intra-évaluateur et fiabilité test-retest#

Lorsque des personnes participent à l’annotation ou à l’évaluation de données, il faut prendre en compte trois grands types de fiabilité. Chacun sert à mesurer la cohérence des résultats sous un angle différent. Voici un aperçu de chacun :

• Fiabilité inter-évaluateurs : Elle mesure le degré d’accord entre différentes personnes qui effectuent la même tâche. Elle est particulièrement utile lorsque plusieurs annotateurs participent à des projets comme l’annotation d’images, l’analyse des sentiments ou les évaluations médicales.
• Fiabilité intra-évaluateur : Elle se concentre sur une seule personne. Elle vérifie si l’évaluateur reste cohérent lorsqu’il répète la même tâche à différents moments. Si les annotations changent trop, cela peut être dû à des consignes peu claires ou à un manque de précision dans la tâche.
• Fiabilité test-retest : Elle ne porte pas sur l’annotateur, mais sur l’outil ou la méthode utilisés. Elle mesure si le même résultat est obtenu lorsque le test est répété dans des conditions similaires. Si le résultat reste cohérent, la méthode est considérée comme fiable.

Ensemble, ces mesures permettent de vérifier que les personnes et les processus produisent des résultats réguliers et fiables.

Fig. 2. Vue d’ensemble de la fiabilité inter-évaluateurs, intra-évaluateurs et test-retest (image de l’auteur)

Pourquoi la fiabilité inter-évaluateurs est-elle importante ?#

Dans les projets d’IA de vision à grande échelle, la qualité des données annotées influe directement sur les performances d’un modèle. Même de légères différences dans la manière dont les annotateurs appliquent les consignes peuvent créer des incohérences qui perturbent le modèle pendant l’entraînement. À terme, cela peut entraîner des prédictions inexactes, un gaspillage de ressources et la nécessité de réannoter les données à grands frais.

Mesurer la fiabilité inter-évaluateurs aide à repérer ces problèmes rapidement. Un niveau d’accord élevé signifie que les annotateurs sont cohérents entre eux et produisent des jeux de données plus propres et plus fiables. Un niveau d’accord faible indique qu’il peut être nécessaire d’affiner les consignes, les exemples ou la formation avant de poursuivre le projet. En veillant à ce que les annotateurs travaillent de manière coordonnée, les équipes peuvent créer des modèles d’IA qui apprennent plus efficacement et donnent de meilleurs résultats dans des applications concrètes.

Aspects pratiques de la fiabilité inter-évaluateurs#

Voici quelques aspects pratiques importants à prendre en compte lorsque tu travailles avec plusieurs évaluateurs et que tu cherches à maintenir une fiabilité inter-évaluateurs élevée :

• Tâches ambiguës ou subjectives : Lorsque l’annotation nécessite une interprétation, par exemple pour déterminer si un objet flou est un piéton ou pour évaluer la qualité d’une image, plusieurs évaluateurs contribuent à garantir la cohérence des décisions et à limiter l’influence des biais individuels.
• Tâches simples et objectives : Les tâches faciles à réaliser, comme compter le nombre de voitures dans une image ou confirmer la présence d’un objet, ne nécessitent souvent qu’un seul évaluateur bien formé, car le niveau d’accord est généralement élevé lorsque le processus est clairement défini.
• Consignes d’annotation claires : Des instructions détaillées et faciles à suivre réduisent l’incertitude quant à l’application des étiquettes, ce qui améliore l’accord entre les évaluateurs. Les consignes doivent préciser explicitement les cas limites afin d’éviter les interprétations incohérentes.
• Formation et étalonnage périodiques : Même les évaluateurs expérimentés peuvent voir leurs jugements évoluer au fil du temps. Des séances de formation régulières et des vérifications d’étalonnage aident à maintenir la cohérence et à limiter le biais de l’expérimentateur.

Mesures de la fiabilité inter-évaluateurs#

Il existe plusieurs façons de mesurer la fiabilité interévaluateurs, et le meilleur choix dépend du type de données et de la tâche. Certaines méthodes conviennent aux cas où deux évaluateurs répondent à des questions simples par oui ou par non, tandis que d’autres sont conçues pour les situations impliquant plusieurs évaluateurs.

Les méthodes courantes comprennent le pourcentage d’accord, le Kappa de Cohen, le Kappa de Fleiss et le coefficient de corrélation intraclasse. Chaque méthode mesure le degré d’accord entre les évaluateurs, et la plupart tiennent également compte de la possibilité qu’une partie de cet accord soit due au hasard.

Kappa de Cohen et kappa de Fleiss#

Le kappa de Cohen est une méthode très répandue pour mesurer la fiabilité inter-évaluateurs entre deux évaluateurs. Il calcule la fréquence à laquelle ils s’accordent sur une tâche, tout en tenant compte de la possibilité que cet accord soit dû au hasard. Les scores vont de -1 à 1 : 1 indique un accord parfait et 0 signifie que l’accord n’est pas meilleur que des réponses choisies au hasard.

De même, le kappa de Fleiss est utilisé lorsque plus de deux évaluateurs participent. Il fournit un score global qui indique le degré de cohérence du groupe. Les deux méthodes s’emploient pour des tâches comportant des catégories définies, comme l’étiquetage d’images ou l’annotation d’émotions. Elles sont faciles à calculer.

Pourcentage d’accord et coefficient de corrélation intraclasse (ICC)#

Une autre façon de mesurer la fiabilité inter-évaluateurs consiste à calculer le pourcentage d’accord, c’est-à-dire le pourcentage de fois où les évaluateurs prennent la même décision. Cette mesure est simple à utiliser, mais ne tient pas compte des accords qui pourraient être dus au hasard.

Le coefficient de corrélation intraclasse est une méthode plus avancée, utilisée pour les données continues ou exprimées sur une échelle. Il mesure la cohérence des évaluations de plusieurs évaluateurs et s’applique souvent dans les recherches portant sur des scores, des mesures ou d’autres types de données qui ne se limitent pas à des catégories prédéfinies.

Exemples et applications de la fiabilité inter-évaluateurs#

Maintenant que nous comprenons mieux comment mesurer la fiabilité inter-évaluateurs, voyons comment ces méthodes peuvent s’appliquer à des cas concrets.

Fiabilité inter-évaluateurs dans l’annotation d’images médicales#

Dans le domaine de l’imagerie médicale, même de légères différences d’interprétation peuvent entraîner des changements importants dans les résultats. Par exemple, on demande souvent aux radiologues d’identifier des motifs subtils, ambigus ou difficiles à définir. Lorsque ces motifs servent de données d’entraînement pour des systèmes d’IA, les enjeux sont plus importants. Si des experts annotent différemment le même examen, le modèle risque d’apprendre les mauvais motifs ou de ne rien apprendre du tout.

La fiabilité inter-évaluateurs aide les équipes qui travaillent avec ce type de données à évaluer la cohérence réelle des jugements des experts. Par exemple, dans une étude récente portant sur des scans OCT de la rétine, deux évaluateurs ont annoté 500 images.

L’accord était élevé pour les caractéristiques clairement identifiables, comme les drusen (dépôts jaunes sous la rétine), avec un score kappa de 0,87. En revanche, pour les éléments plus difficiles à définir, comme les foyers hyperréflectifs (petits points lumineux visibles sur les scans rétiniens), le score est tombé à 0,33. Cela montre que les caractéristiques plus claires et mieux définies tendent à produire des jugements d’experts plus cohérents, tandis que les caractéristiques ambiguës laissent davantage de place à l’interprétation.

Fig. 3. Exemples d’étiquettes pour différentes caractéristiques liées aux maladies de la rétine (Source)

Jeux de données pour véhicules autonomes et fiabilité inter-évaluateurs#

L’entraînement de modèles d’IA pour un système de conduite autonome repose sur des étiquettes précises et cohérentes dans une grande variété de conditions routières. Les annotateurs qui travaillent sur ce type de projet doivent généralement identifier les piétons, les véhicules, les panneaux de signalisation et les marquages au sol, souvent dans des conditions de faible luminosité ou des scènes encombrées.

Ces décisions déterminent la manière dont le modèle apprend à réagir dans des environnements difficiles du monde réel. La fiabilité inter-évaluateurs permet aux équipes de vérifier si les annotateurs appliquent les étiquettes de la même manière.

Fig. 4. Aperçu des désaccords d’annotation (Source)

Au-delà de la fiabilité inter-évaluateurs : autres mesures d’assurance qualité#

Mesurer la fiabilité inter-évaluateurs est une étape cruciale pour créer une solution d’IA, mais cela fait partie d’un processus d’assurance qualité plus vaste. Voici d’autres pratiques qui peuvent contribuer à améliorer la qualité des données au sein des équipes et des projets :

• Consignes d’annotation claires : les instructions doivent expliquer précisément comment appliquer les étiquettes afin que tout le monde suive les mêmes règles.
• Formation et étalonnage : Des séances régulières aident les annotateurs à rester cohérents et leur donnent l’occasion de poser des questions et de s’adapter aux cas limites.
• Contrôles qualité réguliers : les vérifications ponctuelles et les exemples de référence permettent de détecter rapidement les erreurs et de maintenir un niveau de qualité élevé à mesure que le projet prend de l’ampleur.
• Résolution des désaccords : Lorsque les annotateurs ne sont pas d’accord, il faut prévoir un processus clair pour examiner ces cas et prendre les décisions finales.
• Diversité des annotateurs : Faire appel à des personnes aux profils variés peut réduire les biais et améliorer la représentation de la diversité du monde réel dans le jeu de données.

Points clés à retenir#

La fiabilité inter-évaluateurs mesure la cohérence avec laquelle les personnes appliquent des étiquettes ou prennent des décisions. Des méthodes comme le kappa de Cohen, le kappa de Fleiss et l’ICC permettent de quantifier cet accord. Avec des consignes claires, de la formation et une maîtrise des biais, des annotations fiables produisent des données de meilleure qualité et de meilleurs résultats pour les modèles.

Rejoins notre communauté et explore notre dépôt GitHub pour en savoir plus sur l’IA. Si tu souhaites lancer ton propre projet d’IA de vision, consulte nos options de licence. Tu peux aussi découvrir l’impact de l’IA dans le secteur de la santé et de l’IA de vision dans le commerce de détail en consultant nos pages consacrées aux solutions.