Confiabilidad interevaluador: definición, ejemplos, cálculos

Cuando creas un modelo de IA, la calidad de tus datos es tan importante como los algoritmos que los respaldan. Siempre que varias personas etiquetan o revisan los mismos datos, es inevitable que surjan discrepancias. Esto ocurre en muchos campos, incluyendo la investigación, la asistencia sanitaria y la educación.

En particular, en visión artificial, una rama de la IA que implica entrenar modelos como Ultralytics YOLO11 para interpretar datos visuales como imágenes o vídeos, los ejemplos etiquetados desempeñan un papel fundamental. Si esas etiquetas son inconsistentes, a los modelos de visión artificial les puede costar aprender los patrones correctos.

La fiabilidad interevaluador (IRR, por sus siglas en inglés) mide con qué coherencia diferentes personas, o etiquetadores, se ponen de acuerdo en una tarea. Ayuda a supervisar la coherencia e identificar lagunas en la formación, las directrices o la interpretación. Esto es especialmente importante en el entrenamiento de modelos personalizados, donde los modelos de IA se construyen utilizando datos específicos para un fin concreto.

En este artículo exploraremos qué es la fiabilidad interevaluador, cómo medirla y cómo mejorarla en proyectos del mundo real. ¡Empecemos!

Link to this section¿Qué es la fiabilidad interevaluador?#

La fiabilidad interevaluador mide la frecuencia con la que dos o más personas (también llamados evaluadores) se ponen de acuerdo al etiquetar, calificar o revisar el mismo contenido. Se utiliza para comprobar con qué coherencia utilizan diferentes evaluadores unos criterios determinados. Un alto grado de acuerdo entre evaluadores significa que una tarea está bien definida y se entiende claramente.

Este concepto se utiliza en diversos campos. Dependiendo del ámbito, se le conoce con diferentes nombres, como acuerdo interevaluador, fiabilidad entre observadores o fiabilidad entre codificadores. Sin embargo, el principio subyacente sigue siendo el mismo.

En la IA de visión, la fiabilidad interevaluador es una parte clave del proceso de etiquetado de datos. El entrenamiento de modelos de visión artificial a menudo requiere etiquetar conjuntos masivos de imágenes o fotogramas de vídeo, por lo que varios desarrolladores de IA trabajan juntos en los mismos datos.

Para obtener resultados precisos, deben seguir las mismas directrices de etiquetado. Por ejemplo, al etiquetar animales, todo el mundo necesita un acuerdo claro sobre qué cuenta como perro, cómo dibujar la BBox alrededor de él y si se deben etiquetar o ignorar los objetos borrosos.

Fig 1. Comprender la fiabilidad interevaluador (Imagen del autor)

Link to this sectionFiabilidad interevaluador frente a intraevaluador y fiabilidad test-retest#

Cuando hay personas involucradas en el etiquetado o la puntuación de datos, hay tres tipos principales de fiabilidad a tener en cuenta. Cada uno tiene un propósito diferente a la hora de medir la coherencia de los resultados. Aquí tienes un análisis más detallado de cada uno:

• Fiabilidad interevaluador: La fiabilidad interevaluador analiza el grado de acuerdo entre diferentes personas que realizan la misma tarea. Esto es especialmente útil cuando hay varios anotadores implicados en proyectos como el etiquetado de imágenes, el análisis de sentimientos o las revisiones médicas.

• Fiabilidad intraevaluador: Cambia el enfoque a una sola persona. La fiabilidad intraevaluador comprueba si el evaluador se mantiene coherente al repetir la misma tarea en distintos momentos. Si las etiquetas cambian demasiado, podría ser resultado de unas directrices poco claras o de una falta de claridad en la tarea.

• Fiabilidad test-retest: La fiabilidad test-retest no se centra en el anotador, sino en la herramienta o el método utilizado. Mide si aparece el mismo resultado cuando la prueba se repite en condiciones similares. Si el resultado se mantiene coherente, se considera que el método es fiable.

En conjunto, estas medidas ayudan a confirmar que tanto las personas como los procesos producen resultados estables y dignos de confianza.

Fig 2. Una visión general de la fiabilidad interevaluador, intraevaluador y test-retest (Imagen del autor)

Link to this section¿Por qué es importante la fiabilidad interevaluador?#

En los proyectos de IA de visión a gran escala, la calidad de los datos etiquetados afecta directamente al rendimiento del modelo. Incluso pequeñas diferencias en la forma en que los anotadores aplican las directrices pueden introducir inconsistencias que confundan al modelo durante el entrenamiento. Con el tiempo, esto puede dar lugar a predicciones inexactas, pérdida de recursos y la necesidad de volver a etiquetar, lo cual es costoso.

Medir la fiabilidad interevaluador ayuda a detectar estos problemas a tiempo. Un alto grado de acuerdo significa que los anotadores están alineados, lo que produce datasets más limpios y fiables. Un bajo grado de acuerdo indica que puede ser necesario perfeccionar las instrucciones, los ejemplos o la formación antes de que el proyecto avance. Al garantizar que los etiquetadores trabajen de forma sincronizada, los equipos pueden crear modelos de IA que aprendan con mayor eficacia y ofrezcan mejores resultados en aplicaciones del mundo real.

Link to this sectionConsideraciones prácticas para la fiabilidad interevaluador#

Aquí tienes algunas consideraciones prácticas clave que debes tener en cuenta al trabajar con varios evaluadores y tratar de mantener una alta fiabilidad interevaluador:

• Tareas ambiguas o subjetivas: Cuando el etiquetado implica interpretación, como decidir si un objeto borroso es un peatón o juzgar la calidad de una imagen, varios evaluadores ayudan a garantizar que las decisiones sean coherentes y no estén demasiado influidas por el sesgo individual.
• Tareas sencillas y objetivas: Las tareas directas, como contar el número de coches en una imagen o confirmar si un objeto está presente, a menudo solo requieren un evaluador bien formado, ya que el grado de acuerdo suele ser alto una vez que el proceso está claramente definido.
• Directrices de etiquetado claras: Las instrucciones detalladas y fáciles de seguir reducen la incertidumbre sobre cómo se aplican las etiquetas, lo que mejora el acuerdo entre los evaluadores. Las directrices deben cubrir explícitamente los casos extremos para evitar interpretaciones inconsistentes.
• Formación y calibración periódicas: Incluso los evaluadores experimentados pueden variar sus juicios con el tiempo. Las sesiones periódicas de formación y las comprobaciones de calibración ayudan a mantener la coherencia y a minimizar el sesgo del experimentador.

Link to this sectionMedidas de la fiabilidad interevaluador#

Existen varias formas de medir la fiabilidad interevaluador, y la mejor elección depende del tipo de datos y de la tarea. Algunos métodos funcionan bien para evaluadores individuales que responden a preguntas sencillas de sí o no, mientras que otros están diseñados para situaciones en las que intervienen varios evaluadores.

Los enfoques comunes incluyen el porcentaje de acuerdo, la Kappa de Cohen, la Kappa de Fleiss y el coeficiente de correlación intraclase. Cada método mide el nivel de acuerdo entre los evaluadores y tiene en cuenta la posibilidad de que parte del acuerdo se produzca por azar.

Link to this sectionKappa de Cohen y Kappa de Fleiss#

La Kappa de Cohen es un método muy utilizado para medir la fiabilidad interevaluador entre dos evaluadores. Calcula la frecuencia con la que están de acuerdo en una tarea, ajustándose a la posibilidad de que parte del acuerdo pueda producirse por azar. Las puntuaciones oscilan entre -1 y 1; 1 indica un acuerdo perfecto y 0 significa que el acuerdo no es mejor que adivinar al azar.

Del mismo modo, la Kappa de Fleiss se utiliza cuando intervienen más de dos evaluadores. Proporciona una puntuación global que muestra la coherencia del grupo. Ambos métodos se utilizan para tareas con categorías establecidas, como etiquetar imágenes o etiquetar emociones. Son fáciles de calcular y están soportados por la mayoría de las herramientas de anotación.

Link to this sectionPorcentaje de acuerdo y coeficiente de correlación intraclase (ICC)#

Otra forma de medir la fiabilidad interevaluador es el porcentaje de acuerdo, que calcula el porcentaje de veces que los evaluadores toman la misma decisión. Aunque es sencillo de utilizar, no tiene en cuenta el acuerdo que podría producirse por azar.

Mientras tanto, el coeficiente de correlación intraclase es un método más avanzado que se utiliza para datos continuos o basados en escalas. Mide la coherencia de las valoraciones entre varios evaluadores y se aplica a menudo en investigaciones que implican puntuaciones, mediciones u otros tipos de datos más allá de categorías fijas.

Link to this sectionEjemplos y aplicaciones de la fiabilidad interevaluador#

Ahora que entendemos mejor cómo medir la fiabilidad interevaluador, veamos cómo pueden utilizarse estos métodos en aplicaciones del mundo real.

Link to this sectionFiabilidad interevaluador en la anotación de imágenes médicas#

Cuando se trata de imágenes médicas, incluso pequeñas diferencias de interpretación pueden provocar cambios significativos en los resultados. Por ejemplo, a los radiólogos se les pide a menudo que identifiquen patrones sutiles, ambiguos o difíciles de definir. Cuando esos patrones se convierten en datos de entrenamiento para sistemas de IA, hay mucho en juego. Si los expertos etiquetan la misma exploración de forma diferente, el modelo puede aprender los patrones incorrectos o no llegar a aprender nada.

La fiabilidad interevaluador ayuda a los equipos que trabajan con estos datos a evaluar hasta qué punto son coherentes los juicios de los expertos. Por ejemplo, en un estudio reciente centrado en exploraciones de OCT retiniana, dos evaluadores etiquetaron 500 imágenes.

El acuerdo fue alto para características claras como las drusas (depósitos amarillos bajo la retina), con una puntuación Kappa de 0,87. Pero para elementos más difíciles de definir, como los focos hiperreflectantes (pequeñas manchas brillantes observadas en las exploraciones retinianas), la puntuación cayó a 0,33. Esto demuestra que las características más claras y bien definidas tienden a producir juicios expertos más coherentes, mientras que las ambiguas dejan más margen a la interpretación.

Fig 3. Ejemplos de etiquetas para diferentes características relacionadas con enfermedades retinianas (Fuente)

Link to this sectionDatasets de vehículos autónomos y fiabilidad interevaluador#

El entrenamiento de modelos de IA para un sistema de conducción autónoma depende de etiquetas precisas y coherentes en una amplia gama de condiciones de carretera. A los anotadores que trabajan en estos proyectos se les suele pedir que identifiquen peatones, vehículos, señales de tráfico y marcas de carril, a menudo con poca iluminación o en escenas concurridas.

Estas decisiones conforman la forma en que el modelo aprende a responder en entornos reales difíciles. La fiabilidad interevaluador permite a los equipos comprobar si esas etiquetas se aplican de la misma manera entre los anotadores.

Fig 4. Un vistazo a las discrepancias en la anotación (Fuente)

Link to this sectionMás allá de la fiabilidad interevaluador: otras medidas de garantía de calidad#

Aunque medir la fiabilidad interevaluador es un paso crucial en la construcción de una solución de IA, forma parte de un proceso más amplio de garantía de calidad. Aquí tienes otras prácticas que pueden ayudar a mejorar la calidad de los datos en todos los equipos y proyectos:

• Directrices de anotación claras: Las instrucciones deben explicar exactamente cómo aplicar las etiquetas para que todo el mundo trabaje con el mismo estándar.
• Formación y calibración: Las sesiones periódicas ayudan a los anotadores a mantenerse alineados y les dan espacio para hacer preguntas y adaptarse a los casos extremos.
• Comprobaciones de calidad continuas: Las comprobaciones puntuales y los ejemplos de referencia pueden detectar errores a tiempo y mantener una calidad alta a medida que el proyecto crece.
• Resolución de discrepancias: Cuando los anotadores no están de acuerdo, debe existir un proceso claro para revisar esos casos y tomar decisiones finales.
• Grupo de anotadores diverso: Involucrar a personas con diferentes orígenes puede reducir el sesgo y mejorar la representación de la variación del mundo real en el dataset.

Link to this sectionConclusiones clave#

La fiabilidad interevaluador mide con qué coherencia aplican las personas las etiquetas o toman decisiones. Métodos como la Kappa de Cohen, la Kappa de Fleiss y el ICC ayudan a cuantificar ese acuerdo. Con directrices claras, formación y control de sesgos, las anotaciones fiables conducen a datos más sólidos y a mejores resultados del modelo.

Únete a nuestra comunidad y explora nuestro repositorio de GitHub para descubrir más sobre IA. Si buscas iniciar tu propio proyecto de visión artificial, echa un vistazo a nuestras opciones de licencia. También puedes ver cómo la IA en la asistencia sanitaria y la visión artificial en el comercio minorista están marcando la diferencia visitando nuestras páginas de soluciones.