Comprendre la fiabilité inter-juges, le Kappa de Cohen, le CCI, la formation des évaluateurs et le pourcentage d'accord. Découvrez comment ces mesures statistiques garantissent la cohérence et l'accord entre les observateurs dans la recherche et l'analyse des données.
Lorsque vous construisez un modèle d'IA, la qualité de vos données est tout aussi importante que les algorithmes qui le sous-tendent. Chaque fois que plusieurs personnes étiquettent ou examinent les mêmes données, des désaccords sont inévitables. Cela est vrai dans de nombreux domaines, notamment la recherche, la santé et l'éducation.
Particulièrement, dans la vision par ordinateur, une branche de l'IA qui implique la formation de modèles comme Ultralytics YOLO11 pour interpréter des données visuelles comme des images ou des vidéos, les exemples étiquetés jouent un rôle crucial. Si ces étiquettes sont incohérentes, les modèles de vision par ordinateur peuvent avoir du mal à apprendre les schémas corrects.
La fiabilité inter-évaluateurs (IRR) mesure le degré de cohérence avec lequel différentes personnes, ou étiqueteurs, s'accordent sur une tâche. Elle permet de contrôler la cohérence et d'identifier les lacunes dans la formation, les directives ou l'interprétation. Ceci est particulièrement important dans la formation de modèles personnalisés, où les modèles d'IA sont construits à l'aide de données spécifiques pour un objectif particulier.
Dans cet article, nous allons explorer ce qu'est la fiabilité inter-évaluateurs, comment la mesurer et comment l'améliorer dans le cadre de projets concrets. Commençons !
La fiabilité inter-évaluateurs mesure la fréquence à laquelle deux personnes ou plus (également appelées évaluateurs) sont d'accord lorsqu'elles étiquettent, notent ou examinent le même contenu. Elle est utilisée pour vérifier la cohérence avec laquelle différents évaluateurs utilisent les critères donnés. Un accord élevé entre les évaluateurs signifie qu'une tâche est bien définie et clairement comprise.
Ce concept est utilisé dans différents domaines. Selon le domaine, il est connu sous différents noms, tels que l'accord inter-évaluateurs, la fiabilité inter-observateurs ou la fiabilité inter-codeurs. Cependant, le principe sous-jacent reste le même.
Dans l'IA de vision, la fiabilité inter-évaluateurs est un élément clé du processus d'étiquetage des données. L'entraînement des modèles de vision par ordinateur nécessite souvent l'étiquetage d'ensembles de données massifs d'images ou de trames vidéo, de sorte que plusieurs développeurs d'IA travaillent ensemble sur les mêmes données.
Pour obtenir des résultats précis, ils doivent suivre les mêmes consignes d'étiquetage. Par exemple, lors de l'étiquetage des animaux, tout le monde doit s'entendre clairement sur ce qui compte comme un chien, sur la façon de dessiner la boîte englobante autour de celui-ci et sur la nécessité d'étiqueter ou d'ignorer les objets flous.
Lorsque des personnes sont impliquées dans l'étiquetage ou la notation de données, il y a trois principaux types de fiabilité à considérer. Chacun a un objectif différent dans la mesure de la cohérence des résultats. Voici un aperçu plus détaillé de chacun :
Ensemble, ces mesures aident à confirmer que les personnes et les processus produisent des résultats constants et fiables.
Dans les projets de Vision IA à grande échelle, la qualité des données étiquetées affecte directement les performances d'un modèle. Même de petites différences dans la façon dont les annotateurs appliquent les directives peuvent introduire des incohérences qui perturbent le modèle pendant l'entraînement. Au fil du temps, cela peut entraîner des prédictions inexactes, un gaspillage de ressources et la nécessité d'un réétiquetage coûteux.
La mesure de la fiabilité inter-évaluateurs permet de détecter ces problèmes rapidement. Un accord élevé signifie que les annotateurs sont alignés, produisant des ensembles de données plus propres et plus fiables. Un faible accord indique que les instructions, les exemples ou la formation peuvent nécessiter un perfectionnement avant que le projet ne progresse. En s'assurant que les étiqueteurs travaillent en synchronisation, les équipes peuvent construire des modèles d'IA qui apprennent plus efficacement et fournissent de meilleurs résultats dans les applications du monde réel.
Voici quelques considérations pratiques essentielles à garder à l'esprit lorsque vous travaillez avec plusieurs évaluateurs et que vous visez à maintenir une fiabilité inter-évaluateurs élevée :
Il existe plusieurs façons de mesurer la fiabilité inter-évaluateurs, et le meilleur choix dépend du type de données et de la tâche. Certaines méthodes fonctionnent bien pour les évaluateurs uniques traitant des questions simples par oui ou par non, tandis que d'autres sont conçues pour les situations impliquant plusieurs évaluateurs.
Les approches courantes incluent le pourcentage d'accord, le Kappa de Cohen, le Kappa de Fleiss et le coefficient de corrélation intraclasse. Chaque méthode mesure le niveau d'accord entre les évaluateurs et tient compte de la possibilité qu'une partie de cet accord soit due au hasard.
Le Kappa de Cohen est une méthode largement utilisée pour mesurer la fiabilité inter-évaluateurs entre deux évaluateurs. Il calcule la fréquence à laquelle ils s'accordent sur une tâche, tout en tenant compte de la possibilité qu'un certain accord puisse se produire par hasard. Les scores varient de -1 à 1, 1 indiquant un accord parfait et 0 signifiant que l'accord n'est pas meilleur qu'une estimation aléatoire.
De même, le Kappa de Fleiss est utilisé lorsque plus de deux évaluateurs sont impliqués. Il fournit un score global qui indique le degré de cohérence du groupe. Les deux méthodes sont utilisées pour les tâches avec des catégories définies, comme l'étiquetage d'images ou le marquage des émotions. Elles sont faciles à calculer et prises en charge par la plupart des outils d'annotation.
Une autre façon de mesurer la fiabilité inter-évaluateurs est le pourcentage d'accord, qui calcule le pourcentage de fois où les évaluateurs prennent la même décision. Bien que simple à utiliser, il ne tient pas compte de l'accord qui pourrait se produire par hasard.
Par ailleurs, le coefficient de corrélation intraclasse est une méthode plus avancée utilisée pour les données continues ou basées sur une échelle. Il mesure la cohérence des évaluations entre plusieurs évaluateurs et est souvent appliqué dans la recherche qui implique des scores, des mesures ou d'autres types de données au-delà des catégories fixes.
Maintenant que nous comprenons mieux comment mesurer la fiabilité inter-évaluateurs, examinons comment ces méthodes peuvent être utilisées dans des applications concrètes.
En matière d'imagerie médicale, même des différences mineures d'interprétation peuvent entraîner des changements importants dans les résultats. Par exemple, on demande souvent aux radiologues d'identifier des schémas subtils, ambigus ou difficiles à définir. Lorsque ces schémas deviennent des données d'entraînement pour les systèmes d'IA, les enjeux sont plus importants. Si les experts étiquettent le même scan différemment, le modèle peut apprendre les mauvais schémas ou ne pas apprendre du tout.
La fiabilité inter-évaluateurs aide les équipes qui traitent de telles données à évaluer le degré de cohérence des jugements d'experts. Par exemple, dans une étude récente portant sur des scanners OCT rétiniens, deux évaluateurs ont étiqueté 500 images.
La concordance était élevée pour les caractéristiques claires comme les drusen (dépôts jaunes sous la rétine), avec un score kappa de 0,87. Mais pour les éléments plus difficiles à définir comme les foyers hyperréfléchissants (petites taches brillantes observées dans les scans rétiniens), le score est tombé à 0,33. Cela montre que les caractéristiques plus claires et mieux définies ont tendance à produire des jugements d'experts plus cohérents, tandis que les caractéristiques ambiguës laissent plus de place à l'interprétation.
L'entraînement des modèles d'IA pour un système de conduite autonome dépend d'étiquettes précises et cohérentes dans un large éventail de conditions routières. Les annotateurs travaillant sur de tels projets sont généralement invités à identifier les piétons, les véhicules, les panneaux de signalisation et le marquage au sol, souvent dans des conditions de faible éclairage ou dans des scènes encombrées.
Ces décisions façonnent la façon dont le modèle apprend à réagir dans des environnements réels difficiles. La fiabilité inter-évaluateurs permet aux équipes de vérifier si ces étiquettes sont appliquées de la même manière par tous les annotateurs.
Bien que la mesure de la fiabilité inter-évaluateurs soit une étape cruciale dans la construction d'une solution d'IA, elle fait partie d'un processus d'assurance qualité plus large. Voici quelques autres pratiques qui peuvent aider à améliorer la qualité des données au sein des équipes et des projets :
La fiabilité inter-évaluateurs mesure le degré de cohérence avec lequel les personnes appliquent des étiquettes ou prennent des décisions. Des méthodes telles que le Kappa de Cohen, le Kappa de Fleiss et le CCI permettent de quantifier cet accord. Avec des directives claires, une formation adéquate et un contrôle des biais, des annotations fiables conduisent à des données plus solides et à de meilleurs résultats de modèle.
Rejoignez notre communauté et explorez notre dépôt GitHub pour en savoir plus sur l'IA. Si vous cherchez à démarrer votre propre projet d'IA de vision, consultez nos options de licence. Vous pouvez également voir comment l'IA dans le secteur de la santé et l'IA de vision dans le commerce de détail ont un impact en visitant nos pages de solutions.
