Exactitud frente a precisión y exhaustividad en aprendizaje automático

El aprendizaje automático (ML) es una rama de la inteligencia artificial (AI) que se centra en crear sistemas que aprenden a partir de datos. Desempeña un papel fundamental en muchas otras áreas de la IA, incluida la visión por ordenador, donde las máquinas interpretan imágenes, y el procesamiento del lenguaje natural, donde entienden y generan lenguaje humano.

A menudo, estos modelos de IA utilizan técnicas de aprendizaje profundo para hacer predicciones a partir de datos. Aunque estos sistemas pueden ser muy eficaces, no siempre generan predicciones correctas. Algunos resultados pueden ser precisos, mientras que otros no dan en el blanco.

Saber cómo se producen estos errores es fundamental para evaluar el rendimiento de un modelo. Para medir el rendimiento, podemos utilizar métricas de evaluación de modelos.

Entre las métricas de evaluación más habituales se encuentran la exactitud (corrección general), la precisión (fiabilidad de las predicciones positivas) y la exhaustividad (capacidad del modelo para identificar los positivos reales). A primera vista pueden parecer similares, pero cada una se centra en un aspecto distinto del comportamiento del modelo.

En este artículo analizaremos más detenidamente cada una de estas métricas de rendimiento de los modelos de IA. También veremos cómo se relacionan entre sí y cómo elegir la más adecuada para tu caso de uso.

Las métricas de evaluación de modelos son importantes en el aprendizaje automático#

Al principio, puede parecer que un modelo de aprendizaje automático funciona bien. Sin embargo, sin las métricas de evaluación adecuadas, es difícil saber hasta qué punto son precisos sus resultados. Estas métricas estructuran la evaluación del modelo y ayudan a responder una pregunta clave: ¿son útiles y fiables las predicciones del modelo para una tarea determinada?

Métricas como la exactitud, la precisión y la exhaustividad ofrecen a los desarrolladores de IA una forma clara de medir el rendimiento de un modelo. Por ejemplo, al comparar distintos modelos, estas métricas permiten ver cuál funciona mejor para una tarea concreta. Ayudan a evaluar el rendimiento y a elegir el modelo que mejor se adapta a los objetivos de un proyecto de IA.

Fig. 1. Flujo de trabajo de entrenamiento y evaluación de modelos (Fuente)

Estas métricas también permiten comparar el rendimiento de forma más objetiva. En lugar de basarse en conjeturas u observaciones incompletas, ofrecen información cuantificable sobre el comportamiento de un modelo en distintas situaciones. De este modo, destacan qué aspectos del rendimiento son más importantes en cada contexto.

Por ejemplo, la elección de la métrica suele depender de la aplicación. En las aplicaciones de IA en la sanidad, la exhaustividad es importante porque el objetivo es identificar tantos casos positivos como sea posible, aunque algunos negativos se marquen por error. En cambio, un filtro de correo no deseado puede dar prioridad a la precisión para evitar marcar como spam mensajes legítimos.

La matriz de confusión: fundamento de las métricas de clasificación#

En la clasificación binaria, la matriz de confusión es una tabla de dos por dos fundamental para evaluar modelos de IA. Organiza las predicciones en cuatro categorías comparando los resultados reales con los resultados predichos (las respuestas que da el modelo).

Esta comparación ofrece una visión detallada del rendimiento del modelo. Es la base de métricas de evaluación clave, como la precisión y la exhaustividad, que se calculan directamente a partir de los valores de la matriz.

Las filas de la tabla representan las clases reales y las columnas, las clases predichas. Cada celda muestra el número de resultados de esa categoría. En pocas palabras, indica cuántas predicciones fueron correctas y qué tipos de errores cometió el modelo.

La matriz de confusión resulta especialmente útil cuando los datos están desequilibrados, es decir, cuando algunas categorías tienen muchos más ejemplos que otras. También es útil cuando los distintos tipos de error tienen costes diferentes.

Por ejemplo, en la detección de fraudes es fundamental detectar las actividades fraudulentas, pero marcar por error transacciones legítimas también puede causar problemas. La matriz muestra claramente con qué frecuencia se produce cada tipo de error.

Elementos de la matriz de confusión#

A continuación se describen los distintos elementos de una matriz de confusión:

• Verdadero positivo (TP): Cuando el modelo predice correctamente un caso positivo, se registra como verdadero positivo. Por ejemplo, un modelo de visión por ordenador clasifica correctamente un vehículo en una imagen.
• Verdadero negativo (TN): Se produce un verdadero negativo cuando el modelo identifica correctamente un caso negativo. Por ejemplo, un clasificador de correo electrónico marca un mensaje normal como correo no deseado.
• Falso positivo (FP): El modelo genera un falso positivo cuando predice incorrectamente un resultado positivo para un caso que en realidad es negativo. También conocido como error de tipo I, puede ocurrir cuando un sistema de detección de fraude marca como fraudulenta una transacción válida.
• Falso negativo (FN): Se registra un falso negativo cuando el modelo no detecta un caso positivo y lo predice incorrectamente como negativo. También conocido como error de tipo II, puede ocurrir cuando una herramienta de diagnóstico no detecta una enfermedad en un paciente que sí la padece.

Fig. 2. Elementos de una matriz de confusión (Fuente)

Representación visual e interpretación de la matriz de confusión#

La matriz de confusión se muestra en forma de cuadrícula. El eje vertical indica las clases reales y el horizontal, las clases predichas. Las predicciones correctas aparecen en la diagonal y representan los verdaderos positivos y los verdaderos negativos.

Los errores aparecen fuera de la diagonal e incluyen falsos positivos y falsos negativos. Esta estructura facilita la identificación de los puntos fuertes y débiles.

¿Qué es la exactitud en el aprendizaje automático?#

La exactitud es una de las métricas más utilizadas para evaluar el rendimiento de un modelo de aprendizaje automático. Mide la frecuencia con la que las predicciones son correctas en todas las clases. En otras palabras, responde a una pregunta sencilla: de todas las predicciones que hizo el modelo de IA, ¿cuántas fueron correctas?

La fórmula de la exactitud consiste en dividir el número de predicciones correctas (que incluye tanto los verdaderos positivos como los verdaderos negativos) entre el número total de predicciones. La exactitud es fácil de calcular y de entender, por lo que suele ser un punto de partida habitual para evaluar modelos.

Por lo general, la exactitud es fiable cuando se trabaja con conjuntos de datos equilibrados. Sin embargo, puede resultar engañosa en conjuntos de datos desequilibrados, donde una clase predomina sobre las demás. Un modelo que siempre predice la clase mayoritaria puede obtener una puntuación de exactitud alta y, aun así, no detectar las demás clases minoritarias.

Por ejemplo, en un conjunto de datos de imágenes donde solo unas pocas contienen peatones, un modelo que predice «ningún peatón» en todas las imágenes podría obtener una exactitud alta, pero no detectar a ninguno de los peatones reales.

Esto se debe a que la exactitud por sí sola no muestra qué tipos de errores comete un modelo ni con qué frecuencia. Por eso también es importante analizar métricas como la precisión y la exhaustividad para entender bien el rendimiento de un modelo de IA.

Análisis detallado de la precisión: cómo reducir las falsas alarmas#

La precisión es una métrica de evaluación clave que mide la exactitud de las predicciones positivas de un modelo. Responde a esta pregunta: de todos los casos que se predijeron como positivos, ¿cuántos lo eran realmente?

La fórmula de la precisión consiste en dividir el número de verdaderos positivos entre la suma de los verdaderos positivos y los falsos positivos. Es especialmente importante cuando una predicción positiva tendría un coste elevado si resultara ser incorrecta.

Fig. 3. Comparación entre exactitud y precisión. (Fuente)

Por ejemplo, en la detección de fraudes, un modelo con poca precisión puede marcar como fraudulentas muchas transacciones válidas y causar problemas innecesarios tanto a los usuarios como a los equipos de asistencia. Un modelo con una precisión alta reduce este riesgo al garantizar que las transacciones marcadas tengan más probabilidades de ser realmente fraudulentas.

Aunque una precisión alta es deseable, los modelos que se centran demasiado en ella pueden volverse muy selectivos y pasar por alto casos positivos reales. Por eso, la métrica de precisión suele analizarse junto con la exhaustividad para mantener un rendimiento equilibrado.

¿Qué es la exhaustividad?#

La exhaustividad es una métrica que mide hasta qué punto un modelo identifica los casos positivos reales. También se conoce como sensibilidad o tasa de verdaderos positivos, y responde a esta pregunta: de todos los casos positivos reales, ¿cuántos detectó correctamente el modelo?

La fórmula de la exhaustividad consiste en dividir el número de verdaderos positivos entre la suma de los verdaderos positivos y los falsos negativos. Una puntuación alta de exhaustividad indica que el modelo detecta la mayoría de los casos positivos reales de los datos.

La exhaustividad es esencial en sectores como la sanidad, donde no detectar una afección puede retrasar el tratamiento y poner en riesgo a los pacientes. Aunque algunos casos negativos se marquen por error, la prioridad sigue siendo identificar todos los casos reales.

Sin embargo, los modelos que se centran únicamente en la exhaustividad pueden marcar demasiados falsos positivos, lo que reduce la precisión y perjudica la eficiencia general del modelo. Equilibrar la exhaustividad y la precisión es fundamental para que el rendimiento de los modelos de IA sea fiable.

El equilibrio entre precisión y exhaustividad#

La precisión y la exhaustividad suelen evolucionar en direcciones opuestas. Cuando una mejora, la otra puede disminuir. Este equilibrio es un reto habitual en las tareas de aprendizaje automático.

Un modelo con una precisión alta solo predice un resultado positivo cuando tiene confianza en él. Esto reduce las falsas alarmas, pero puede pasar por alto positivos reales y reducir la exhaustividad. Un modelo que intenta detectar todos los casos positivos aumenta la exhaustividad, pero se arriesga a generar más falsas alarmas y reducir la precisión.

Este equilibrio se entiende mejor al ajustar el umbral de decisión del modelo. El umbral es el límite que utiliza un sistema para convertir una puntuación o probabilidad en una acción o etiqueta. Si se reduce el umbral, el sistema tiende a actuar de forma positiva con más frecuencia, lo que puede aumentar la exhaustividad, pero reducir la precisión. Si se aumenta el umbral, ocurre lo contrario: el modelo predice menos positivos, mejora la precisión, pero suele disminuir la exhaustividad.

Imagina que trabajas en la detección de correo no deseado. El modelo debe equilibrar el riesgo de que el spam llegue a la bandeja de entrada con el de bloquear correos legítimos. Un filtro estricto puede bloquear mensajes legítimos por error, mientras que uno más permisivo puede dejar pasar algo de spam. El equilibrio adecuado depende del caso de uso y del coste de cada tipo de error.

La importancia de la curva precisión-exhaustividad#

La curva precisión-exhaustividad, o curva PR, muestra cómo cambian la precisión y la exhaustividad cuando varía el umbral de decisión del modelo. Cada punto representa un equilibrio distinto entre ambas. La curva PR resulta especialmente útil con conjuntos de datos desequilibrados, en los que una clase es mucho menos frecuente.

Con datos desequilibrados, suele ofrecer información más significativa que la curva característica operativa del receptor (ROC), que también muestra lo bien que un modelo separa los positivos de los negativos con distintos umbrales de decisión. Un modelo con una precisión y una exhaustividad altas tendrá una curva de precisión-exhaustividad que se mantiene cerca de la esquina superior derecha, lo que suele ser lo ideal.

Presentamos la puntuación F1: una métrica combinada para equilibrar el rendimiento#

La puntuación F1 ofrece un único valor que refleja el equilibrio entre precisión y exhaustividad. Se calcula multiplicando la precisión por la exhaustividad, multiplicando el resultado por dos y dividiéndolo entre la suma de ambas. Es útil cuando importan tanto los falsos positivos como los falsos negativos, y resulta práctica al trabajar con conjuntos de datos desequilibrados o cuando se necesita una visión equilibrada del rendimiento del modelo.

Fig. 4. Cálculo de la puntuación F1 a partir de la precisión y la exhaustividad (Fuente)

Más allá de la exactitud, la precisión y la exhaustividad#

Aunque la exactitud, la precisión y la exhaustividad son esenciales, otras métricas ofrecen información adicional según el tipo de modelo y las características del conjunto de datos.

Estas son algunas métricas de uso frecuente que ayudan a evaluar distintos aspectos del rendimiento:

• Especificidad: mide hasta qué punto el modelo identifica correctamente los negativos reales. Es útil cuando es importante evitar los falsos positivos.
• AUC: AUC, o área bajo la curva, proporciona una puntuación única que refleja lo bien que el modelo distingue entre clases.
• Pérdida logarítmica: se utiliza para medir la confianza con la que un modelo realiza predicciones y penaliza más las predicciones incorrectas hechas con mucha confianza. En este caso, la confianza se refiere a hasta qué punto el modelo está seguro de su predicción.
• Evaluación multietiqueta: en las tareas multietiqueta, se calcula el promedio de las métricas de todas las etiquetas para reflejar el rendimiento general del modelo.

Aplicación de la exactitud, la precisión y la exhaustividad en la visión artificial#

Ahora que entendemos mejor la exactitud, la precisión y la exhaustividad, veamos cómo se aplican en la visión artificial.

Los modelos de visión artificial como Ultralytics YOLO11 admiten tareas como la detección de objetos, en las que el modelo identifica qué objetos hay en una imagen y los localiza mediante cuadros delimitadores. Cada predicción incluye tanto la etiqueta del objeto como su posición, lo que hace que la evaluación sea más compleja que limitarse a comprobar si una etiqueta es correcta.

Fig. 5. Ejemplo del uso de Ultralytics YOLO11 para la detección de objetos. (Fuente)

Piensa en una aplicación de venta minorista en la que se usan cámaras para hacer un seguimiento automático de los productos en las estanterías. Un modelo de detección de objetos podría identificar productos como cajas de cereales, latas de refresco o botellas de agua y marcar su posición.

En este caso, la precisión indica cuántos de los elementos detectados son realmente correctos. Una precisión alta significa que el sistema evita falsos positivos, como etiquetar una sombra o un objeto del fondo como un producto. La exhaustividad muestra cuántos de los productos reales de la estantería ha conseguido detectar el modelo. Una exhaustividad alta significa que se pasan por alto menos productos, algo fundamental para que el recuento del inventario sea preciso.

La exactitud sigue proporcionando una medida general de la corrección, pero en este tipo de situación, pasar por alto incluso unos pocos productos o detectar artículos que no están allí puede afectar mucho a la gestión de existencias. Por eso, los desarrolladores analizan conjuntamente la precisión, la exhaustividad y la exactitud para garantizar que el sistema sea fiable y práctico en situaciones reales.

Exactitud, precisión y exhaustividad: conclusiones clave#

La exactitud, la precisión y la exhaustividad muestran distintos aspectos del rendimiento de un modelo de aprendizaje automático. Basarse en una sola métrica puede llevar a conclusiones engañosas.

Herramientas y métricas como la matriz de confusión, las curvas de precisión-exhaustividad y la puntuación F1 ayudan a revelar las compensaciones y a orientar las decisiones para mejorar el modelo de ML. Si eliges la combinación de métricas adecuada para una solución de IA concreta, podrás garantizar que los modelos sean precisos, fiables y eficaces en aplicaciones reales.

¡Explora nuestra creciente comunidad! Echa un vistazo a nuestro repositorio de GitHub para obtener más información sobre la IA. ¿Listo para empezar tus proyectos de visión artificial? Consulta nuestras opciones de licencia. ¡Descubre la IA en la agricultura y la IA de visión en robótica en nuestras páginas de soluciones!