Confiabilidad interevaluador: definición, ejemplos, cálculos

Cuando creas un modelo de IA, la calidad de tus datos es tan importante como los algoritmos que los respaldan. Siempre que varias personas etiquetan o revisan los mismos datos, es inevitable que surjan discrepancias. Esto ocurre en muchos campos, incluyendo la investigación, la asistencia sanitaria y la educación.

En particular, en computer vision, una rama de la IA que implica entrenar modelos como Ultralytics YOLO11 para interpretar datos visuales como imágenes o vídeos, los ejemplos etiquetados desempeñan un papel crucial. Si esas etiquetas son incoherentes, los modelos de computer vision pueden tener dificultades para aprender los patrones correctos.

La fiabilidad interevaluador (IRR, por sus siglas en inglés) mide con qué coherencia diferentes personas, o etiquetadores, se ponen de acuerdo en una tarea. Ayuda a supervisar la coherencia e identificar lagunas en la formación, las directrices o la interpretación. Esto es especialmente importante en el entrenamiento de modelos personalizados, donde los modelos de IA se construyen utilizando datos específicos para un fin concreto.

En este artículo exploraremos qué es la fiabilidad interevaluador, cómo medirla y cómo mejorarla en proyectos del mundo real. ¡Empecemos!

¿Qué es la fiabilidad interevaluador?#

La fiabilidad interevaluador mide la frecuencia con la que dos o más personas (también llamados evaluadores) se ponen de acuerdo al etiquetar, calificar o revisar el mismo contenido. Se utiliza para comprobar con qué coherencia utilizan diferentes evaluadores unos criterios determinados. Un alto grado de acuerdo entre evaluadores significa que una tarea está bien definida y se entiende claramente.

Este concepto se utiliza en diversos campos. Dependiendo del ámbito, se le conoce con diferentes nombres, como acuerdo interevaluador, fiabilidad entre observadores o fiabilidad entre codificadores. Sin embargo, el principio subyacente sigue siendo el mismo.

En vision AI, la fiabilidad entre evaluadores es una parte clave del proceso de etiquetado de datos. Entrenar computer vision models suele requerir etiquetar conjuntos de datos masivos de imágenes o fotogramas de vídeo, por lo que varios desarrolladores de IA trabajan juntos en los mismos datos.

Para obtener resultados precisos, deben seguir las mismas directrices de etiquetado. Por ejemplo, al etiquetar animales, todo el mundo necesita un acuerdo claro sobre qué cuenta como perro, cómo dibujar la BBox alrededor de él y si se deben etiquetar o ignorar los objetos borrosos.

Fig 1. Comprender la fiabilidad interevaluador (Imagen del autor)

Fiabilidad interevaluador frente a intraevaluador y fiabilidad test-retest#

Cuando hay personas involucradas en el etiquetado o la puntuación de datos, hay tres tipos principales de fiabilidad a tener en cuenta. Cada uno tiene un propósito diferente a la hora de medir la coherencia de los resultados. Aquí tienes un análisis más detallado de cada uno:

• Fiabilidad interevaluador: La fiabilidad interevaluador analiza el grado de acuerdo entre diferentes personas que realizan la misma tarea. Esto es especialmente útil cuando hay varios anotadores implicados en proyectos como el etiquetado de imágenes, el análisis de sentimientos o las revisiones médicas.

• Fiabilidad intraevaluador: Cambia el enfoque a una sola persona. La fiabilidad intraevaluador comprueba si el evaluador se mantiene coherente al repetir la misma tarea en distintos momentos. Si las etiquetas cambian demasiado, podría ser resultado de unas directrices poco claras o de una falta de claridad en la tarea.

• Fiabilidad test-retest: La fiabilidad test-retest no se centra en el anotador, sino en la herramienta o el método utilizado. Mide si aparece el mismo resultado cuando la prueba se repite en condiciones similares. Si el resultado se mantiene coherente, se considera que el método es fiable.

En conjunto, estas medidas ayudan a confirmar que tanto las personas como los procesos producen resultados estables y dignos de confianza.

Fig 2. Una visión general de la fiabilidad interevaluador, intraevaluador y test-retest (Imagen del autor)

¿Por qué es importante la fiabilidad interevaluador?#

En los proyectos de IA de visión a gran escala, la calidad de los datos etiquetados afecta directamente al rendimiento del modelo. Incluso pequeñas diferencias en la forma en que los anotadores aplican las directrices pueden introducir inconsistencias que confundan al modelo durante el entrenamiento. Con el tiempo, esto puede dar lugar a predicciones inexactas, pérdida de recursos y la necesidad de volver a etiquetar, lo cual es costoso.

Medir la fiabilidad entre evaluadores ayuda a detectar estos problemas a tiempo. Una alta concordancia significa que los anotadores están alineados, lo que produce datasets más limpios y fiables. Una baja concordancia indica que puede ser necesario perfeccionar las instrucciones, los ejemplos o la formación antes de que el proyecto avance. Al garantizar que los etiquetadores trabajen sincronizados, los equipos pueden construir modelos de IA que aprendan con mayor eficacia y ofrezcan mejores resultados en aplicaciones del mundo real.

Consideraciones prácticas para la fiabilidad interevaluador#

Aquí tienes algunas consideraciones prácticas clave que debes tener en cuenta al trabajar con varios evaluadores y tratar de mantener una alta fiabilidad interevaluador:

• Tareas ambiguas o subjetivas: Cuando el etiquetado implica interpretación, como decidir si un objeto borroso es un peatón o juzgar la calidad de una imagen, varios evaluadores ayudan a garantizar que las decisiones sean coherentes y no estén demasiado influidas por el sesgo individual.
• Tareas sencillas y objetivas: Las tareas directas como counting el número de coches en una imagen o confirmar si un objeto está presente a menudo requieren un solo evaluador bien formado, ya que la concordancia suele ser alta una vez que el proceso está claramente definido.
• Directrices de etiquetado claras: Las instrucciones detalladas y fáciles de seguir reducen la incertidumbre sobre cómo se aplican las etiquetas, lo que mejora el acuerdo entre los evaluadores. Las directrices deben cubrir explícitamente los casos extremos para evitar interpretaciones inconsistentes.
• Formación y calibración periódicas: Incluso los evaluadores experimentados pueden variar sus juicios con el tiempo. Las sesiones periódicas de formación y las comprobaciones de calibración ayudan a mantener la coherencia y a minimizar el sesgo del experimentador.

Medidas de la fiabilidad interevaluador#

Existen varias formas de medir la fiabilidad interevaluador, y la mejor elección depende del tipo de datos y de la tarea. Algunos métodos funcionan bien para evaluadores individuales que responden a preguntas sencillas de sí o no, mientras que otros están diseñados para situaciones en las que intervienen varios evaluadores.

Los enfoques comunes incluyen el porcentaje de acuerdo, la Kappa de Cohen, la Kappa de Fleiss y el coeficiente de correlación intraclase. Cada método mide el nivel de acuerdo entre los evaluadores y tiene en cuenta la posibilidad de que parte del acuerdo se produzca por azar.

Kappa de Cohen y Kappa de Fleiss#

La Kappa de Cohen es un método muy utilizado para medir la fiabilidad interevaluador entre dos evaluadores. Calcula la frecuencia con la que están de acuerdo en una tarea, ajustándose a la posibilidad de que parte del acuerdo pueda producirse por azar. Las puntuaciones oscilan entre -1 y 1; 1 indica un acuerdo perfecto y 0 significa que el acuerdo no es mejor que adivinar al azar.

Del mismo modo, la Kappa de Fleiss se utiliza cuando intervienen más de dos evaluadores. Ofrece una puntuación global que muestra la coherencia del grupo. Ambos métodos se utilizan para tareas con categorías fijas, como labeling images o etiquetar emociones. Son fáciles de calcular y compatibles con la mayoría de las herramientas de anotación.

Porcentaje de acuerdo y coeficiente de correlación intraclase (ICC)#

Otra forma de medir la fiabilidad interevaluador es el porcentaje de acuerdo, que calcula el porcentaje de veces que los evaluadores toman la misma decisión. Aunque es sencillo de utilizar, no tiene en cuenta el acuerdo que podría producirse por azar.

Mientras tanto, el coeficiente de correlación intraclase es un método más avanzado que se utiliza para datos continuos o basados en escalas. Mide la coherencia de las valoraciones entre varios evaluadores y se aplica a menudo en investigaciones que implican puntuaciones, mediciones u otros tipos de datos más allá de categorías fijas.

Ejemplos y aplicaciones de la fiabilidad interevaluador#

Ahora que entendemos mejor cómo medir la fiabilidad interevaluador, veamos cómo pueden utilizarse estos métodos en aplicaciones del mundo real.

Fiabilidad interevaluador en la anotación de imágenes médicas#

Cuando se trata de medical imaging, incluso las diferencias menores en la interpretación pueden provocar cambios significativos en los resultados. Por ejemplo, a los radiólogos se les suele pedir que identifiquen patrones que son sutiles, ambiguos o difíciles de definir. Cuando esos patrones se convierten en datos de entrenamiento para sistemas de IA, lo que está en juego es mayor. Si los expertos etiquetan la misma exploración de forma diferente, el modelo puede aprender los patrones incorrectos o no aprender en absoluto.

La fiabilidad entre evaluadores ayuda a los equipos que manejan dichos datos a evaluar el grado de coherencia de los juicios de los expertos. Por ejemplo, en un estudio reciente centrado en retinal OCT scans, dos evaluadores etiquetaron 500 imágenes.

El acuerdo fue alto para características claras como las drusas (depósitos amarillos bajo la retina), con una puntuación Kappa de 0,87. Pero para elementos más difíciles de definir, como los focos hiperreflectantes (pequeñas manchas brillantes observadas en las exploraciones retinianas), la puntuación cayó a 0,33. Esto demuestra que las características más claras y bien definidas tienden a producir juicios expertos más coherentes, mientras que las ambiguas dejan más margen a la interpretación.

Fig 3. Ejemplos de etiquetas para diferentes características relacionadas con enfermedades retinianas (Source)

Datasets de vehículos autónomos y fiabilidad interevaluador#

El entrenamiento de modelos de IA para un sistema de autonomous driving depende de etiquetas precisas y coherentes en una amplia gama de condiciones de carretera. A los anotadores que trabajan en tales proyectos se les suele pedir que identifiquen peatones, vehículos, señales de tráfico y marcas viales, a menudo con poca iluminación o en escenas concurridas.

Estas decisiones conforman la forma en que el modelo aprende a responder en entornos reales difíciles. La fiabilidad interevaluador permite a los equipos comprobar si esas etiquetas se aplican de la misma manera entre los anotadores.

Fig 4. Una visión de los desacuerdos en las anotaciones (Source)

Más allá de la fiabilidad interevaluador: otras medidas de garantía de calidad#

Aunque medir la fiabilidad entre evaluadores es un paso crucial para construir una AI solution, forma parte de un proceso de garantía de calidad más amplio. Aquí tienes otras prácticas que pueden ayudar a mejorar la calidad de los datos entre equipos y proyectos:

• Directrices de anotación claras: Las instrucciones deben explicar exactamente cómo aplicar las etiquetas para que todo el mundo trabaje con el mismo estándar.
• Formación y calibración: Las sesiones periódicas ayudan a los anotadores a mantenerse alineados y les dan espacio para hacer preguntas y adaptarse a los casos extremos.
• Comprobaciones de calidad continuas: Las comprobaciones puntuales y los ejemplos de referencia pueden detectar errores a tiempo y mantener una calidad alta a medida que el proyecto crece.
• Resolución de discrepancias: Cuando los anotadores no están de acuerdo, debe existir un proceso claro para revisar esos casos y tomar decisiones finales.
• Grupo de anotadores diverso: Involucrar a personas con diferentes orígenes puede reducir el sesgo y mejorar la representación de la variación del mundo real en el dataset.

Conclusiones clave#

La fiabilidad interevaluador mide con qué coherencia aplican las personas las etiquetas o toman decisiones. Métodos como la Kappa de Cohen, la Kappa de Fleiss y el ICC ayudan a cuantificar ese acuerdo. Con directrices claras, formación y control de sesgos, las anotaciones fiables conducen a datos más sólidos y a mejores resultados del modelo.

Únete a our community y explora nuestro GitHub repository para descubrir más sobre la IA. Si quieres iniciar tu propio proyecto de vision AI, consulta nuestras licensing options. También puedes ver cómo AI in healthcare y vision AI in retail están generando impacto visitando nuestras páginas de soluciones.