Exactitud frente a precisión frente a exhaustividad en machine learning

El aprendizaje automático (ML) es una rama de la inteligencia artificial (AI) que se centra en crear sistemas que aprenden de los datos. Desempeña un papel fundamental en muchas otras áreas de la AI, incluida la visión por ordenador, donde las máquinas interpretan imágenes, y el procesamiento del lenguaje natural, donde entienden y generan lenguaje humano.

A menudo, estos modelos de AI utilizan técnicas de deep learning para hacer predicciones a partir de los datos. Aunque estos sistemas pueden ser muy eficaces, no siempre generan predicciones correctas. Algunos resultados pueden ser precisos, mientras que otros no aciertan.

Saber cómo se producen estos errores es fundamental para evaluar el rendimiento de un modelo. Para medir el rendimiento, podemos utilizar métricas de evaluación de modelos.

Entre las métricas de evaluación más habituales se incluyen la exactitud (corrección general), la precisión (fiabilidad de las predicciones positivas) y la exhaustividad (capacidad del modelo para identificar los positivos reales). Al principio pueden parecer similares, pero cada una se centra en un aspecto diferente del comportamiento de un modelo.

En este artículo analizaremos con más detalle cada una de estas métricas de rendimiento de los modelos de AI. También veremos cómo se relacionan entre sí y cómo elegir la adecuada para tu caso de uso. ¡Empecemos!

Las métricas de evaluación de modelos son importantes en machine learning#

Al principio, un modelo de machine learning puede parecer que funciona bien. Pero sin las métricas de evaluación adecuadas, es difícil entender hasta qué punto son exactos sus resultados. Estas métricas estructuran la evaluación del modelo y ayudan a responder a una pregunta clave: ¿son útiles y fiables las predicciones del modelo para una tarea determinada?

Métricas como la exactitud, la precisión y la exhaustividad ofrecen a los desarrolladores de AI una forma clara de medir el funcionamiento de un modelo. Por ejemplo, al comparar distintos modelos, estas métricas permiten ver cuál funciona mejor para una tarea específica. Ayudan a evaluar el rendimiento y orientan la elección del modelo que mejor se adapta a los objetivos de un proyecto de AI.

Fig. 1. Flujo de trabajo de entrenamiento y evaluación de modelos (Fuente)

Estas métricas también hacen que las comparaciones de rendimiento sean más objetivas. En lugar de basarse en conjeturas u observaciones incompletas, proporcionan información medible sobre el comportamiento de un modelo en distintas situaciones. De este modo, ponen de relieve qué aspectos del rendimiento son más importantes en cada contexto.

Por ejemplo, la elección de la métrica suele depender de la aplicación. En las aplicaciones de AI en sanidad, la exhaustividad es importante porque el objetivo es identificar tantos casos positivos como sea posible, aunque algunos negativos se marquen por error. En cambio, un filtro de spam para correo electrónico puede priorizar la precisión para evitar marcar por error como spam los mensajes legítimos.

La matriz de confusión: la base de las métricas de clasificación#

La matriz de confusión es una tabla de dos por dos fundamental para evaluar modelos de AI. Organiza las predicciones en cuatro categorías comparando los resultados reales con los resultados predichos (las respuestas que proporciona el modelo).

Esta comparación ofrece una visión detallada del rendimiento del modelo. Constituye la base de métricas de evaluación importantes, como la precisión y la exhaustividad, que se calculan directamente a partir de los valores de la matriz.

Las filas de la tabla representan las clases reales y las columnas representan las clases predichas. Cada celda muestra el número de resultados de esa categoría. En pocas palabras, indica cuántas predicciones fueron correctas y qué tipos de errores cometió el modelo.

La matriz de confusión resulta especialmente útil cuando los datos están desequilibrados, es decir, cuando algunas categorías tienen muchos más ejemplos que otras. También es útil cuando los distintos tipos de errores tienen costes diferentes.

Por ejemplo, en la detección de fraude, detectar una actividad fraudulenta es fundamental, pero marcar por error transacciones reales también puede causar problemas. La matriz muestra claramente con qué frecuencia se produce cada tipo de error.

Elementos de la matriz de confusión#

Este es un resumen de los distintos elementos de una matriz de confusión:

• Verdadero positivo (TP): Cuando el modelo predice correctamente una instancia positiva, se registra como verdadero positivo. Por ejemplo, un modelo de visión por ordenador clasifica correctamente un vehículo en una imagen.
• Verdadero negativo (TN): Se produce un verdadero negativo cuando el modelo identifica correctamente una instancia negativa. Por ejemplo, un clasificador de correo electrónico marca un mensaje normal como no spam.
• Falso positivo (FP): El modelo genera un falso positivo cuando predice incorrectamente un resultado positivo para una instancia que en realidad es negativa. También conocido como error de tipo I, puede ocurrir cuando un sistema de detección de fraude marca como fraudulenta una transacción válida.
• Falso negativo (FN): Se registra un falso negativo cuando el modelo no detecta un caso positivo y lo predice incorrectamente como negativo. También denominado error de tipo II, puede ocurrir cuando una herramienta de diagnóstico no detecta una enfermedad en un paciente que realmente está enfermo.

Fig. 2. Los elementos de una matriz de confusión (Fuente)

Representación visual e interpretación de la matriz de confusión#

Una matriz de confusión se muestra en formato de cuadrícula. El eje vertical muestra las clases reales y el eje horizontal muestra las clases predichas. Las predicciones correctas aparecen en la diagonal y representan los verdaderos positivos y los verdaderos negativos.

Los errores aparecen fuera de la diagonal e incluyen falsos positivos y falsos negativos. Esta estructura facilita la identificación de los puntos fuertes y débiles.

¿Qué es la exactitud en machine learning?#

La exactitud es una de las métricas más utilizadas para evaluar el rendimiento de un modelo de machine learning. Mide con qué frecuencia son correctas las predicciones en todas las clases. En otras palabras, responde a una pregunta sencilla: de todas las predicciones que hizo el modelo de AI, ¿cuántas fueron correctas?

La fórmula de la exactitud es el número de predicciones correctas (que incluye tanto los verdaderos positivos como los verdaderos negativos) dividido entre el número total de predicciones. La exactitud es fácil de calcular y de entender, por lo que constituye un punto de partida habitual en la evaluación de modelos.

Por lo general, la exactitud es fiable al trabajar con conjuntos de datos equilibrados. Sin embargo, a menudo puede resultar engañosa en conjuntos de datos desequilibrados, donde una clase domina sobre las demás. Un modelo que siempre predice la clase mayoritaria puede obtener una puntuación de exactitud alta y, aun así, no detectar las demás clases minoritarias.

Por ejemplo, en un conjunto de datos de imágenes en el que solo unas pocas imágenes contienen peatones, un modelo que prediga «ningún peatón» para todas las imágenes puede lograr una exactitud alta, pero no detectar en absoluto a los peatones reales.

Esto se debe a que la exactitud por sí sola no muestra qué tipos de errores comete un modelo ni con qué frecuencia se producen. Por eso también es importante observar métricas como la precisión y la exhaustividad para comprender plenamente el funcionamiento de un modelo de AI.

Análisis detallado de la precisión: minimizar las falsas alarmas#

La precisión es una métrica de evaluación fundamental que mide la exactitud de las predicciones positivas de un modelo. Responde a la pregunta: de todas las instancias predichas como positivas, ¿cuántas eran correctas?

La fórmula de la precisión es el número de verdaderos positivos dividido entre la suma de verdaderos positivos y falsos positivos. Es especialmente importante cuando una predicción positiva tendría un coste elevado si resultara ser incorrecta.

Fig. 3. Comparación entre exactitud y precisión. (Fuente)

Por ejemplo, en la detección de fraude, un modelo con una precisión baja puede marcar como fraudulentas muchas transacciones válidas, lo que crea problemas innecesarios tanto para los usuarios como para los equipos de soporte. Un modelo con una precisión alta reduce este riesgo al garantizar que es más probable que las transacciones marcadas sean realmente fraudulentas.

Aunque una precisión alta es positiva, los modelos que se centran demasiado en ella pueden volverse muy selectivos y no detectar casos positivos reales. Por eso, la métrica de precisión suele comprobarse junto con la exhaustividad para mantener equilibrado el rendimiento.

¿Qué es la exhaustividad?#

La exhaustividad es una métrica que se utiliza para medir hasta qué punto un modelo identifica los casos positivos reales. Se conoce como sensibilidad o tasa de verdaderos positivos y responde a la pregunta: de todas las instancias positivas reales, ¿cuántas detectó correctamente el modelo?

La fórmula de la exhaustividad es el número de verdaderos positivos dividido entre la suma de verdaderos positivos y falsos negativos. Una puntuación alta de exhaustividad indica que el modelo está capturando la mayoría de los casos positivos reales de los datos.

La exhaustividad es esencial en sectores como la sanidad, donde no detectar una afección puede retrasar el tratamiento y poner en riesgo a los pacientes. Aunque algunos casos negativos se marquen por error, identificar todos los casos reales sigue siendo la máxima prioridad.

Sin embargo, los modelos que se centran únicamente en la exhaustividad pueden generar demasiados falsos positivos, lo que reduce la precisión y perjudica la eficiencia general del modelo. Equilibrar la exhaustividad y la precisión es fundamental para un rendimiento fiable de los modelos de AI.

El equilibrio: la disyuntiva entre precisión y exhaustividad#

La precisión y la exhaustividad suelen moverse en direcciones opuestas. Cuando una mejora, la otra puede disminuir. Esta disyuntiva es un reto habitual en las tareas de machine learning.

Un modelo con alta precisión predice algo como positivo solo cuando tiene confianza. Esto reduce las falsas alarmas, pero puede pasar por alto positivos reales, lo que disminuye la exhaustividad. Un modelo que intenta detectar todos los positivos aumenta la exhaustividad, pero se arriesga a generar más falsas alarmas, lo que reduce la precisión.

Esta disyuntiva se hace más evidente al ajustar el umbral de decisión del modelo. El umbral es el punto de corte que utiliza un sistema para convertir una puntuación o probabilidad en una acción o etiqueta. Reducir el umbral hace que el sistema actúe positivamente con más frecuencia, lo que puede aumentar la exhaustividad, pero también reducir la precisión. Aumentar el umbral tiene el efecto contrario: el modelo predice menos positivos, la precisión mejora, pero la exhaustividad suele disminuir.

Supongamos que estás trabajando en la detección de spam. El modelo tiene que equilibrar el riesgo de dejar que el spam llegue a la bandeja de entrada con el riesgo de bloquear correos reales. Un filtro estricto puede seguir pasando por alto algo de spam, mientras que uno más permisivo puede bloquear accidentalmente mensajes legítimos. El equilibrio adecuado depende del caso de uso y del coste de cada tipo de error.

La importancia de la curva de precisión-exhaustividad#

La curva de precisión-exhaustividad, o curva PR, muestra cómo cambian la precisión y la exhaustividad a medida que cambia el umbral de decisión del modelo. Cada punto representa una disyuntiva diferente entre ambas. La curva PR es especialmente útil para conjuntos de datos desequilibrados, en los que una clase es mucho menos frecuente.

También proporciona información más significativa que la curva de Característica Operativa del Receptor (ROC), que también muestra hasta qué punto un modelo separa los positivos de los negativos con distintos umbrales de decisión. Un modelo con una precisión y una exhaustividad altas tendrá una curva de precisión-exhaustividad que se mantiene cerca de la esquina superior derecha, lo que generalmente es lo ideal.

Presentamos la puntuación F1: una métrica combinada para lograr el equilibrio#

La puntuación F1 proporciona un único valor que refleja el equilibrio entre la precisión y la exhaustividad. La puntuación F1 se calcula como dos veces el producto de la precisión y la exhaustividad, dividido entre la suma de la precisión y la exhaustividad. Es útil cuando importan tanto los falsos positivos como los falsos negativos, y resulta práctica al trabajar con conjuntos de datos desequilibrados o cuando se necesita una visión equilibrada del rendimiento del modelo.

Fig. 4. Cálculo de la puntuación F1 mediante precisión y exhaustividad (Fuente)

Más allá de la exactitud, la precisión y la exhaustividad#

Aunque la exactitud, la precisión y la exhaustividad son esenciales, otras métricas ofrecen información adicional en función del tipo de modelo y de las características del conjunto de datos.

Estas son algunas métricas habituales que ayudan a evaluar distintos aspectos del rendimiento:

• Especificidad: Mide hasta qué punto el modelo identifica los negativos reales. Es útil cuando es importante evitar los falsos positivos.
• AUC: AUC, o área bajo la curva, proporciona una única puntuación que refleja hasta qué punto el modelo puede distinguir entre clases.
• Pérdida logarítmica: La pérdida logarítmica se utiliza para medir la confianza con la que un modelo realiza sus predicciones y penaliza más las predicciones incorrectas hechas con una confianza alta. En este caso, confianza se refiere al grado de seguridad del modelo respecto a su predicción.
• Evaluación multietiqueta: En las tareas multietiqueta, las métricas se promedian entre las etiquetas para reflejar el rendimiento general del modelo.

Aplicación de la exactitud, la precisión y la exhaustividad en visión por ordenador#

Ahora que comprendemos mejor la exactitud, la precisión y la exhaustividad, veamos cómo se aplican estas métricas en visión por ordenador.

Los modelos de visión por ordenador, como Ultralytics YOLO11, admiten tareas como la detección de objetos, en la que el modelo identifica qué objetos están presentes en una imagen y los localiza mediante cuadros delimitadores. Cada predicción incluye tanto la etiqueta del objeto como su posición, lo que hace que la evaluación sea más compleja que comprobar simplemente si una etiqueta es correcta.

Fig. 5. Ejemplo del uso de Ultralytics YOLO11 para la detección de objetos. (Fuente)

Considera una aplicación de venta minorista en la que se utilizan cámaras para realizar un seguimiento automático de los productos en las estanterías. Un modelo de detección de objetos podría identificar artículos como cajas de cereales, latas de refresco o botellas de agua, y marcar sus posiciones.

En este caso, la precisión nos indica cuántos de los artículos detectados son realmente correctos. Una precisión alta significa que el sistema evita falsos positivos, como etiquetar una sombra o un objeto del fondo como un producto. La exhaustividad muestra cuántos de los productos reales de la estantería consiguió detectar el modelo. Una exhaustividad alta significa que se omiten menos artículos, algo fundamental para realizar recuentos de inventario precisos.

La exactitud aún puede proporcionar una medida general de corrección, pero en este tipo de situaciones, no detectar siquiera unos pocos productos o detectar artículos que no están presentes puede tener un gran impacto en la gestión del inventario. Por eso, los desarrolladores analizan conjuntamente la precisión, la exhaustividad y la exactitud para garantizar que el sistema sea fiable y práctico en situaciones reales.

Exactitud, precisión y exhaustividad: conclusiones clave#

La exactitud, la precisión y la exhaustividad muestran aspectos diferentes del rendimiento de un modelo de machine learning. Basarse en una sola métrica puede resultar engañoso.

Herramientas y métricas como la matriz de confusión, las curvas de precisión-exhaustividad y la puntuación F1 ayudan a revelar las disyuntivas y a orientar las decisiones para mejorar el modelo de ML. Al elegir la combinación adecuada de métricas para una solución de AI específica, puedes garantizar que los modelos sean exactos, fiables y eficaces en aplicaciones reales.

¡Explora nuestra creciente comunidad! Visita nuestro repositorio de GitHub para obtener más información sobre AI. ¿Listo para empezar tus proyectos de visión por ordenador? Echa un vistazo a nuestras opciones de licencia. Descubre la AI en la agricultura y la AI de visión en robótica visitando nuestras páginas de soluciones.