Fiabilidad entre evaluadores: definición, ejemplos y cálculos

Al crear un modelo de IA, la calidad de los datos es tan importante como los algoritmos que lo sustentan. Siempre que varias personas etiquetan o revisan los mismos datos, es inevitable que haya desacuerdos. Esto ocurre en muchos campos, como la investigación, la sanidad y la educación.

En particular, en la visión artificial, una rama de la IA que consiste en entrenar modelos como Ultralytics YOLO11 para interpretar datos visuales, como imágenes o vídeos, los ejemplos etiquetados desempeñan un papel fundamental. Si esas etiquetas son incoherentes, los modelos de visión artificial pueden tener dificultades para aprender los patrones correctos.

La fiabilidad entre evaluadores (IRR) mide hasta qué punto distintas personas, o etiquetadores, coinciden de forma sistemática en una tarea. Ayuda a supervisar la coherencia y a detectar deficiencias en la formación, las directrices o la interpretación. Es especialmente importante al entrenar modelos personalizados, que se crean con datos específicos para un propósito concreto.

En este artículo veremos qué es la fiabilidad entre evaluadores, cómo medirla y cómo mejorarla en proyectos reales. ¡Empecemos!

¿Qué es la fiabilidad entre evaluadores?#

La fiabilidad entre evaluadores mide con qué frecuencia dos o más personas (también llamadas evaluadores) coinciden al etiquetar, puntuar o revisar el mismo contenido. Se utiliza para comprobar hasta qué punto distintos evaluadores aplican de forma coherente los criterios establecidos. Un alto grado de acuerdo entre evaluadores indica que la tarea está bien definida y se entiende con claridad.

Este concepto se utiliza en distintos campos. Según el ámbito, recibe nombres diferentes, como concordancia entre evaluadores, fiabilidad interobservador o fiabilidad intercodificador. Sin embargo, el principio subyacente sigue siendo el mismo.

En la IA de visión, la fiabilidad entre evaluadores es una parte clave del proceso de etiquetado de datos. El entrenamiento de modelos de visión artificial suele requerir etiquetar conjuntos de datos enormes de imágenes o fotogramas de vídeo, por lo que a menudo trabajan varios anotadores con los mismos datos.

Para obtener resultados precisos, todos deben seguir las mismas directrices de etiquetado. Por ejemplo, al etiquetar animales, todos deben ponerse de acuerdo sobre qué se considera un perro, cómo dibujar el cuadro delimitador a su alrededor y si deben etiquetar u omitir los objetos borrosos.

Fig. 1. Comprender la fiabilidad entre evaluadores (imagen del autor)

Fiabilidad entre evaluadores, fiabilidad intraevaluador y fiabilidad test-retest#

Cuando se recurre a personas para etiquetar o puntuar datos, hay tres tipos principales de fiabilidad que deben tenerse en cuenta. Cada uno sirve para medir un aspecto distinto de la coherencia de los resultados. Veamos cada uno con más detalle:

• Fiabilidad entre evaluadores: La fiabilidad entre evaluadores analiza el grado de acuerdo entre distintas personas que realizan la misma tarea. Resulta especialmente útil cuando participan varios anotadores en proyectos de etiquetado de imágenes, análisis de opiniones o revisiones médicas.
• Fiabilidad intraevaluador: Este tipo de fiabilidad se centra en una sola persona. La fiabilidad intraevaluador comprueba si el evaluador mantiene la coherencia al repetir la misma tarea en distintos momentos. Si las etiquetas cambian demasiado, puede deberse a unas directrices poco claras o a que la tarea no está bien definida.
• Fiabilidad test-retest: La fiabilidad test-retest no se centra en el anotador, sino en la herramienta o el método utilizado. Mide si se obtiene el mismo resultado al repetir la prueba en condiciones similares. Si el resultado se mantiene constante, se considera que el método es fiable.

En conjunto, estas medidas ayudan a confirmar que tanto las personas como los procesos producen resultados estables y fiables.

Fig. 2. Descripción general de la fiabilidad entre evaluadores, intraevaluador y test-retest (imagen del autor)

¿Por qué es importante la fiabilidad entre evaluadores?#

En los proyectos de IA de visión a gran escala, la calidad de los datos etiquetados influye directamente en el rendimiento del modelo. Incluso pequeñas diferencias en la aplicación de las directrices por parte de los anotadores pueden generar incoherencias que confundan al modelo durante el entrenamiento. Con el tiempo, esto puede dar lugar a predicciones inexactas, un desperdicio de recursos y la necesidad de volver a etiquetar los datos, con el coste que ello supone.

Medir la fiabilidad entre evaluadores ayuda a detectar estos problemas pronto. Un alto nivel de acuerdo significa que los anotadores están coordinados y producen conjuntos de datos más limpios y fiables. Un bajo nivel de acuerdo indica que quizá haya que mejorar las instrucciones, los ejemplos o la formación antes de seguir adelante con el proyecto. Si se garantiza que los etiquetadores trabajan de forma coordinada, los equipos pueden crear modelos de IA que aprendan con mayor eficacia y ofrezcan mejores resultados en aplicaciones del mundo real.

Consideraciones prácticas sobre la fiabilidad entre evaluadores#

Estas son algunas consideraciones prácticas clave que conviene tener en cuenta al trabajar con varios evaluadores y tratar de mantener un alto nivel de fiabilidad entre ellos:

• Tareas ambiguas o subjetivas: Cuando el etiquetado requiere interpretación, por ejemplo, para decidir si un objeto borroso es un peatón o para juzgar la calidad de una imagen, contar con varios evaluadores ayuda a garantizar que las decisiones sean coherentes y no estén demasiado influidas por los sesgos individuales.
• Tareas sencillas y objetivas: Las tareas directas, como contar los coches que aparecen en una imagen o confirmar si un objeto está presente, suelen requerir un único evaluador bien formado, ya que el acuerdo suele ser alto cuando el proceso está claramente definido.
• Directrices de etiquetado claras: Las instrucciones detalladas y fáciles de seguir reducen la incertidumbre sobre cómo aplicar las etiquetas y mejoran el acuerdo entre evaluadores. Las directrices deben contemplar explícitamente los casos límite para evitar interpretaciones incoherentes.
• Formación y calibración periódicas: Incluso los evaluadores con experiencia pueden desviarse en sus juicios con el tiempo. Las sesiones de formación periódicas y las comprobaciones de calibración ayudan a mantener la coherencia y minimizar el sesgo del experimentador.

Medidas de fiabilidad entre evaluadores#

Hay varias formas de medir la fiabilidad entre evaluadores, y la mejor opción depende del tipo de datos y de la tarea. Algunos métodos funcionan bien con dos evaluadores que responden a preguntas sencillas de sí o no, mientras que otros están diseñados para situaciones con varios evaluadores.

Entre los métodos habituales se encuentran el porcentaje de acuerdo, la kappa de Cohen, la kappa de Fleiss y el coeficiente de correlación intraclase. Cada método mide el grado de acuerdo entre los evaluadores y la mayoría también tiene en cuenta la posibilidad de que parte del acuerdo se deba al azar.

Kappa de Cohen y kappa de Fleiss#

La kappa de Cohen es un método muy utilizado para medir la fiabilidad entre dos evaluadores. Calcula con qué frecuencia coinciden en una tarea y ajusta el resultado teniendo en cuenta que parte del acuerdo podría deberse al azar. Las puntuaciones van de -1 a 1: 1 indica un acuerdo perfecto y 0 significa que el acuerdo no es mejor que el que se obtendría al azar.

Del mismo modo, se utiliza la Kappa de Fleiss cuando participan más de dos evaluadores. Proporciona una puntuación general que indica el grado de coherencia del grupo. Ambos métodos se utilizan en tareas con categorías definidas, como el etiquetado de imágenes o el etiquetado de emociones. Son fáciles de calcular.

Porcentaje de acuerdo y coeficiente de correlación intraclase (ICC)#

Otra forma de medir la fiabilidad entre evaluadores es el porcentaje de acuerdo, que calcula el porcentaje de veces que los evaluadores toman la misma decisión. Aunque es fácil de usar, no tiene en cuenta el acuerdo que podría producirse por azar.

Por su parte, el coeficiente de correlación intraclase es un método más avanzado que se utiliza con datos continuos o basados en escalas. Mide la coherencia de las valoraciones de varios evaluadores y suele aplicarse en estudios con puntuaciones, mediciones u otros tipos de datos que no se limitan a categorías fijas.

Ejemplos y aplicaciones de la fiabilidad entre evaluadores#

Ahora que entendemos mejor cómo medir la fiabilidad entre evaluadores, veamos cómo pueden utilizarse estos métodos en aplicaciones del mundo real.

Fiabilidad entre evaluadores en la anotación de imágenes médicas#

En el ámbito de la imagen médica, incluso pequeñas diferencias de interpretación pueden provocar cambios importantes en los resultados. Por ejemplo, a menudo se pide a los radiólogos que identifiquen patrones sutiles, ambiguos o difíciles de definir. Cuando esos patrones se convierten en datos de entrenamiento para sistemas de IA, lo que está en juego es aún más importante. Si los expertos etiquetan una misma exploración de formas distintas, el modelo puede aprender patrones equivocados o no llegar a aprenderlos.

La fiabilidad entre evaluadores ayuda a los equipos que trabajan con este tipo de datos a comprobar hasta qué punto son coherentes los juicios de los expertos. Por ejemplo, en un estudio reciente centrado en exploraciones OCT de la retina, dos evaluadores etiquetaron 500 imágenes.

El acuerdo fue alto para características claras, como las drusas (depósitos amarillos bajo la retina), con una puntuación kappa de 0,87. Sin embargo, para elementos más difíciles de definir, como los focos hiperreflectivos (pequeños puntos brillantes que aparecen en las exploraciones de la retina), la puntuación bajó a 0,33. Esto demuestra que las características más claras y mejor definidas suelen dar lugar a juicios más coherentes por parte de los expertos, mientras que las ambiguas dejan más margen a la interpretación.

Fig. 3. Ejemplos de etiquetas para distintas características relacionadas con enfermedades de la retina (Fuente)

Conjuntos de datos de vehículos autónomos y fiabilidad entre evaluadores#

El entrenamiento de modelos de IA para un sistema de conducción autónoma depende de que las etiquetas sean precisas y coherentes en una amplia variedad de condiciones de circulación. En estos proyectos, normalmente se pide a los anotadores que identifiquen peatones, vehículos, señales de tráfico y marcas viales, a menudo en condiciones de poca luz o en escenas concurridas.

Estas decisiones determinan cómo aprende el modelo a reaccionar en entornos reales difíciles. La fiabilidad entre evaluadores permite a los equipos comprobar si los distintos anotadores aplican las etiquetas de la misma forma.

Fig. 4. Vista de los desacuerdos en las anotaciones (Fuente)

Más allá de la fiabilidad entre evaluadores: otras medidas de control de calidad#

Aunque medir la fiabilidad entre evaluadores es un paso fundamental para crear una solución de IA, forma parte de un proceso de control de calidad más amplio. Estas son otras prácticas que pueden ayudar a mejorar la calidad de los datos en todos los equipos y proyectos:

• Directrices de anotación claras: las instrucciones deben explicar exactamente cómo aplicar las etiquetas para que todo el mundo siga el mismo criterio.
• Formación y calibración: Las sesiones periódicas ayudan a los anotadores a mantenerse coordinados y les dan la oportunidad de hacer preguntas y adaptarse a los casos límite.
• Controles de calidad continuos: las revisiones puntuales y los ejemplos de referencia pueden detectar errores pronto y mantener una calidad alta a medida que crece el proyecto.
• Resolución de desacuerdos: Cuando los anotadores no están de acuerdo, debe haber un proceso claro para revisar esos casos y tomar una decisión definitiva.
• Grupo diverso de anotadores: Contar con personas de distintos orígenes puede reducir los sesgos y mejorar la representación de la diversidad del mundo real en el conjunto de datos.

Conclusiones clave#

La fiabilidad entre evaluadores mide la coherencia con la que las personas aplican etiquetas o toman decisiones. Métodos como la kappa de Cohen, la kappa de Fleiss y el ICC ayudan a cuantificar ese acuerdo. Con directrices claras, formación y control de sesgos, las anotaciones fiables generan datos de mayor calidad y mejores resultados para los modelos.

Únete a nuestra comunidad y explora nuestro repositorio de GitHub para descubrir más sobre la IA. Si quieres poner en marcha tu propio proyecto de IA de visión, consulta nuestras opciones de licencia. También puedes descubrir el impacto de la IA en la sanidad y la IA de visión en el comercio minorista en nuestras páginas de soluciones.