Precisión media promedio (mAP) en la detección de objetos

La adopción de la inteligencia artificial está creciendo rápidamente y se está integrando en diversas innovaciones, desde coches autónomos hasta sistemas comerciales que pueden identificar productos en un estante. Estas tecnologías se basan en la visión por computador, una rama de la inteligencia artificial (IA) que permite a las máquinas analizar datos visuales.

Una métrica de evaluación clave utilizada para medir la precisión de los sistemas y algoritmos de visión artificial es la precisión media promedio (mAP). La métrica mAP indica qué tan cerca está la predicción de un modelo de visión por IA de los resultados del mundo real.

Una tarea común de visión por computador es la detección de objetos, donde un modelo identifica múltiples objetos en una imagen y dibuja cuadros delimitadores alrededor de ellos. mAP es la métrica estándar utilizada para evaluar el rendimiento de los modelos de detección de objetos y se emplea ampliamente para evaluar modelos de aprendizaje profundo como Ultralytics YOLO11.

En este artículo, veremos cómo se calcula la precisión media promedio y por qué es esencial para cualquiera que entrene o evalúe modelos de detección de objetos. ¡Empecemos!

¿Qué es la precisión media promedio (mAP)?#

La precisión media es una puntuación que muestra cuán preciso es un modelo de aprendizaje profundo cuando se trata de tareas relacionadas con la recuperación de información visual, como detectar e identificar diferentes objetos en una imagen. Por ejemplo, considera un modelo de detección de objetos que analiza una foto que contiene un perro, un gato y un coche. Un modelo fiable puede realizar la detección de objetos reconociendo cada objeto y dibujando cuadros delimitadores y etiquetas a su alrededor, destacando dónde está y qué es.

La mAP indica qué tan bien realiza el modelo esta tarea en muchas imágenes y diferentes tipos de objetos. Comprueba si el modelo identifica con precisión cada objeto y su ubicación dentro de la imagen. La puntuación oscila entre 0 y 1, donde uno significa que el modelo encontró todo perfectamente y cero significa que no pudo detectar ningún objeto.

Conceptos clave en la precisión media promedio (mAP)#

Antes de explorar los conceptos detrás de la precisión media promedio en el aprendizaje automático, comprendamos mejor dos términos básicos: verdad fundamental (ground truth) y predicciones.

La verdad fundamental (ground truth) se refiere a los datos de referencia precisos, donde los objetos y sus ubicaciones en la imagen están cuidadosamente etiquetados por humanos a través de un proceso conocido como anotación. Mientras tanto, las predicciones son los resultados que proporcionan los modelos de IA después de analizar una imagen. Al comparar las predicciones del modelo de IA con la verdad fundamental, podemos medir qué tan cerca estuvo el modelo de obtener los resultados correctos.

Fig 1. Los cuadros delimitadores de la predicción del modelo y la verdad fundamental. Imagen del autor.

Matriz de confusión#

A menudo se utiliza una matriz de confusión para entender cuán preciso es un modelo de detección de objetos. Es una tabla que muestra cómo las predicciones del modelo coinciden con las respuestas correctas reales (verdad terreno). A partir de esta tabla, podemos obtener un desglose de cuatro componentes o resultados clave: verdaderos positivos, falsos positivos, falsos negativos y verdaderos negativos.

Aquí tienes lo que representan estos componentes en la matriz de confusión:

• Verdadero positivo (TP): Un objeto y su ubicación son detectados correctamente por el modelo.
• Falso positivo (FP): El modelo realizó una detección, pero fue incorrecta.
• Falso negativo (FN): Un objeto que estaba realmente presente en la imagen, pero el modelo no pudo detectarlo.
• Verdadero negativo (TN): Los verdaderos negativos ocurren cuando el modelo identifica correctamente la ausencia de un objeto.

Los verdaderos negativos no se suelen utilizar en la detección de objetos, ya que normalmente ignoramos las muchas regiones vacías de una imagen. Sin embargo, son esenciales en otras tareas de visión por computador, como la clasificación de imágenes, donde el modelo asigna una etiqueta a la imagen. Por ejemplo, si la tarea es detectar si una imagen contiene un gato o no, y el modelo identifica correctamente "sin gato" cuando la imagen no contiene uno, eso es un verdadero negativo.

Fig 2. Resultados de clasificación en una matriz de confusión. Imagen del autor.

Intersección sobre Unión (IoU)#

Otra métrica vital para evaluar modelos de detección de objetos es la intersección sobre unión (IoU). Para este tipo de modelos de IA visual, simplemente detectar la presencia de un objeto en una imagen no es suficiente; también necesita localizar dónde está en una imagen para dibujar cuadros delimitadores.

La métrica IoU mide qué tan cerca coincide el cuadro predicho por el modelo con el cuadro real y correcto (verdad fundamental). La puntuación está entre 0 y 1, donde 1 significa una coincidencia perfecta y 0 significa que no hay superposición en absoluto.

Por ejemplo, una IoU más alta (como 0,80 o 0,85) significa que el cuadro predicho es una coincidencia cercana con el cuadro de la verdad fundamental, lo que indica una localización precisa. Una IoU más baja (como 0,30 o 0,25) significa que el modelo no localizó el objeto con precisión.

Para determinar si una detección es exitosa, utilizamos diferentes umbrales. Un umbral de IoU común es 0,5, lo que significa que un cuadro predicho debe superponerse con el cuadro de la verdad fundamental al menos en un 50% para ser contado como un verdadero positivo. Cualquier superposición por debajo de este umbral se considera un falso positivo.

Fig 3. Entendiendo la Intersección sobre Unión. Imagen del autor.

Precisión y exhaustividad (recall)#

Hasta ahora, hemos explorado algunas métricas de evaluación básicas para entender el rendimiento de los modelos de detección de objetos. A partir de esto, dos de las métricas más importantes son la precisión y la exhaustividad. Nos dan una imagen clara de cuán precisas son las detecciones del modelo. Echemos un vistazo a qué son.

Los valores de precisión nos dicen cuántas de las predicciones del modelo fueron realmente correctas. Responde a la pregunta: de todos los objetos que el modelo afirmó detectar, ¿cuántos estaban realmente allí?

Los valores de exhaustividad (recall), por otro lado, miden qué tan bien encuentra el modelo todos los objetos reales presentes en la imagen. Responde a la pregunta: de todos los objetos reales presentes, ¿cuántos detectó correctamente el modelo?

Juntos, la precisión y la exhaustividad nos dan una imagen más clara del rendimiento de un modelo. Por ejemplo, si un modelo predice 10 coches en una imagen y 9 de ellos son efectivamente coches, tiene una precisión del 90% (una predicción positiva).

Estas dos métricas de evaluación a menudo implican un compromiso: un modelo puede lograr un alto valor de precisión al realizar solo predicciones en las que tiene total confianza, pero esto puede hacer que pierda muchos objetos, lo que reduce el nivel de exhaustividad. Mientras tanto, también puede alcanzar una exhaustividad muy alta al predecir un cuadro delimitador en casi todas partes, pero esto reduciría la precisión.

Fig 4. Precisión y exhaustividad. Imagen del autor.

Precisión promedio#

Si bien la precisión y la exhaustividad nos ayudan a comprender cómo funciona un modelo en predicciones individuales, la precisión promedio (AP) puede proporcionar una visión más amplia. Ilustra cómo cambia la precisión del modelo a medida que intenta detectar más objetos y resume su rendimiento en un solo número.

Para calcular la puntuación de precisión promedio, primero podemos crear una métrica combinada similar a un gráfico llamada curva de precisión-exhaustividad (o curva PR) para cada tipo de objeto. Esta curva muestra lo que sucede a medida que el modelo realiza más predicciones.

Considera un escenario en el que el modelo comienza detectando solo los objetos más fáciles u obvios. En esta etapa, la precisión es alta porque la mayoría de las predicciones son correctas, pero la exhaustividad es baja ya que muchos objetos aún se pierden. A medida que el modelo intenta detectar más objetos, incluidos los más difíciles o raros, generalmente introduce más errores. Esto hace que la precisión disminuya mientras que la exhaustividad aumenta.

La precisión promedio es el área bajo la curva (AUC de la curva PR). Un área más grande significa que el modelo es mejor para mantener sus predicciones precisas, incluso cuando detecta más objetos. La AP se calcula por separado para cada etiqueta de clase.

Por ejemplo, en un modelo que puede detectar coches, bicicletas y peatones, podemos calcular los valores de AP individualmente para cada una de esas tres categorías. Esto nos ayuda a ver qué objetos detecta bien el modelo y dónde podría necesitar mejoras.

Fig 5. Una curva PR para cinco clases diferentes. (Fuente)

Precisión media promedio#

Después de calcular la precisión media para cada clase de objeto, todavía necesitamos una puntuación única que refleje el rendimiento general del modelo en todas las clases. Esto se puede lograr utilizando la fórmula de la precisión media. Promedia las puntuaciones AP para cada categoría.

Por ejemplo, supongamos que un modelo de visión artificial como Ultralytics YOLO11 alcanza un AP de 0,827 para coches, 0,679 para motocicletas, 0,355 para camiones, 0,863 para autobuses y 0,982 para bicicletas. Utilizando la fórmula de mAP, podemos sumar estos números y dividir entre el número total de clases de la siguiente manera:

mAP = (0,827 + 0,679 + 0,355 + 0,863 + 0,982) ÷ 5 = 0,7432 ≈ 0,743

La puntuación mAP de 0,743 proporciona una solución sencilla para juzgar qué tan bien funciona el modelo en todas las clases de objetos. Un valor cercano a 1 significa que el modelo es preciso para la mayoría de las categorías, mientras que un valor más bajo sugiere que tiene dificultades con algunas.

Importancia de la AP y la mAP en la visión artificial#

Ahora que tenemos una mejor comprensión de cómo se calculan la AP y la mAP y cuáles son sus componentes, aquí tienes una descripción general de su importancia en la visión artificial:

• AP baja para una clase específica: Una AP baja para una sola clase a menudo significa que el modelo tiene dificultades con esa clase de objeto específica. Esto puede deberse a datos de entrenamiento insuficientes o desafíos visuales en las imágenes, como la oclusión.

• Errores de localización: Un valor de mAP más alto en un umbral de IoU más bajo (como mAP@0.50) combinado con una caída significativa en un umbral de IoU más alto (como mAP@0.75) indica que el modelo puede detectar objetos pero tiene dificultades para localizarlos con precisión.

• Sobreajuste: Un valor de mAP más alto en el conjunto de datos de entrenamiento pero un valor de mAP más bajo en el conjunto de datos de validación es un signo de sobreajuste, lo que hace que el modelo no sea fiable para nuevas imágenes.

Aplicaciones del mundo real de la precisión media promedio#

A continuación, exploremos cómo métricas clave como la mAP pueden ayudar al crear casos de uso de visión artificial en el mundo real.

Vehículos autónomos: por qué un valor de mAP más alto significa carreteras más seguras#

Cuando se trata de coches autónomos, la detección de objetos es crucial para identificar peatones, señales de tráfico, ciclistas y marcas viales. Por ejemplo, si un niño cruza repentinamente la calle, el coche tiene segundos para detectar el objeto (el niño), localizar dónde está, rastrear su movimiento y tomar la medida necesaria (aplicar los frenos).

Los modelos como Ultralytics YOLO11 están diseñados para la detección de objetos en tiempo real en escenarios tan exigentes. En estos casos, el mAP se convierte en una medida crítica de seguridad.

Una puntuación mAP alta asegura que el sistema detecte al niño rápidamente, lo localice con precisión y active el frenado con un retraso mínimo. Una mAP baja puede significar detecciones perdidas o clasificaciones erróneas peligrosas, como confundir al niño con otro objeto pequeño.

Fig 6. Un ejemplo de uso de YOLO11 para detectar peatones en la carretera. (Fuente)

Uso de mAP para una detección precisa de productos#

De igual modo, en el sector minorista, los modelos de detección de objetos se pueden utilizar para automatizar tareas como el control de inventario y los procesos de pago. Cuando un cliente escanea un producto en una caja de autocobro, un error en la detección puede causar frustración.

Una puntuación mAP alta asegura que el modelo distinga con precisión entre productos similares y dibuje cuadros delimitadores precisos, incluso cuando los artículos están muy juntos. Una puntuación mAP baja puede provocar confusiones. Por ejemplo, si el modelo confunde una botella de zumo de naranja con una botella de zumo de manzana visualmente similar, podría resultar en una facturación incorrecta y informes de inventario inexactos.

Los sistemas de comercio minorista integrados con modelos como Ultralytics YOLO11 pueden detectar productos en tiempo real, comprobarlos con el inventario y actualizar los sistemas de backend al instante. En entornos comerciales de ritmo rápido, el mAP desempeña un papel crucial para mantener las operaciones precisas y fiables.

Mejora de la precisión diagnóstica con una mAP alta en la atención sanitaria#

Mejorar la precisión diagnóstica en la atención médica comienza con una detección precisa en la imagen médica. Modelos como YOLO11 pueden ayudar a los radiólogos a detectar tumores, fracturas u otras anomalías a partir de esas exploraciones médicas. Aquí, la precisión media es una métrica esencial para evaluar la fiabilidad clínica de un modelo.

Una mAP alta indica que el modelo logra tanto una alta exhaustividad (identificar la mayoría de los problemas reales) como una alta precisión (evitar falsas alarmas), lo cual es crucial en la toma de decisiones clínicas. Además, el umbral de IoU en la atención sanitaria a menudo se establece muy alto (0,85 o 0,90) para garantizar una detección extremadamente precisa.

Sin embargo, una puntuación mAP baja puede generar preocupaciones. Digamos que un modelo pasa por alto un tumor; podría retrasar el diagnóstico o conducir a un tratamiento incorrecto.

Pros y contras de usar mAP#

Aquí tienes las ventajas clave de usar la precisión media promedio para evaluar modelos de detección de objetos:

• Métrica estandarizada: La mAP es el estándar de la industria para evaluar modelos de detección de objetos. Un valor de mAP permite comparaciones justas y consistentes entre diferentes modelos.

• Refleja el rendimiento del mundo real: Una mAP alta indica que el modelo sobresale en la detección de diversas clases de objetos y mantiene un rendimiento sólido en escenarios complejos del mundo real.

• Diagnósticos por clase: Una puntuación mAP evalúa el rendimiento de detección para cada clase individualmente. Esto facilita la identificación de categorías con bajo rendimiento (como bicicletas o señales de tráfico) y ajustar el modelo en consecuencia.

Si bien hay varios beneficios al usar la métrica mAP, hay algunas limitaciones a considerar. Aquí hay algunos factores a tener en cuenta:

• Difícil para las partes interesadas no técnicas: Los equipos comerciales o clínicos pueden encontrar los valores de mAP abstractos, a diferencia de otras métricas más intuitivas y fáciles de entender.

• No refleja las restricciones en tiempo real: La mAP no tiene en cuenta la velocidad de inferencia o la latencia, que son cruciales para la implementación en aplicaciones sensibles al tiempo.

Conclusiones clave#

Hemos visto que la precisión media promedio no es solo una puntuación técnica, sino un reflejo del rendimiento potencial del modelo en el mundo real. Ya sea en un sistema de vehículos autónomos o en una caja de pago minorista, una puntuación mAP alta sirve como un indicador confiable del rendimiento y la preparación práctica del modelo.

Aunque la mAP es una métrica esencial e impactante, debe considerarse como parte de una estrategia de evaluación bien equilibrada. Para aplicaciones críticas como la atención sanitaria y la conducción autónoma, no es suficiente confiar únicamente en la mAP.

También deben considerarse factores adicionales como la velocidad de inferencia (qué tan rápido realiza predicciones el modelo), el tamaño del modelo (que afecta la implementación en dispositivos periféricos) y el análisis cualitativo de errores (entender los tipos de errores que comete el modelo) para garantizar que el sistema sea seguro, eficiente y realmente apto para su propósito previsto.

Únete a nuestra creciente comunidad y al repositorio de GitHub para descubrir más sobre la visión por computador. Explora nuestras páginas de soluciones para conocer las aplicaciones de la visión por computador en la agricultura y de la IA en la logística. ¡Consulta nuestras opciones de licencias para empezar hoy mismo con tu propio modelo de visión por computador!