Precisão média média (mAP)

A precisão média média (mAP) é uma métrica de avaliação crítica utilizada extensivamente na visão computacional, especialmente para tarefas de deteção de objectos. Fornece uma pontuação única e abrangente que resume o desempenho de um modelo, medindo a precisão das suas previsões em todas as categorias de objectos. A pontuação do mAP considera tanto a correção da classificação (o objeto é o que o modelo diz que é?) como a qualidade da localização (até que ponto a caixa delimitadora prevista corresponde à localização real do objeto?). Como oferece uma avaliação equilibrada, o mAP tornou-se a métrica padrão para comparar o desempenho de diferentes modelos de deteção de objectos, como o Ultralytics YOLO.

Como funciona a mAP

Para compreender o mAP, é útil começar por compreender os seus componentes principais: Precisão, Recall e Intersecção sobre União (IoU).

• Precisão: Mede o grau de exatidão das previsões do modelo. Responde à pergunta: "De todos os objectos que o modelo detectou, que fração estava correta?"
• Recordar: Mede o grau em que o modelo encontra todos os objectos reais. Responde à pergunta: "De todos os objectos reais presentes na imagem, que fração foi detectada com sucesso pelo modelo?"
• Intersecção sobre União (IoU): Uma métrica que quantifica o quanto uma caixa delimitadora prevista se sobrepõe a uma caixa delimitadora de verdade (rotulada manualmente). Uma deteção é normalmente considerada um verdadeiro positivo se a IoU for superior a um determinado limiar (por exemplo, 0,5).

O cálculo do mAP sintetiza estes conceitos. Para cada classe de objeto, é gerada uma curva de precisão-recuperação traçando a precisão contra a recuperação em vários limites de pontuação de confiança. A precisão média (Average Precision, AP) para essa classe é a área sob essa curva, fornecendo um único número que representa o desempenho do modelo nessa classe específica. Finalmente, o mAP é calculado tomando a média das pontuações AP em todas as classes de objectos. Alguns esquemas de avaliação, como o do popular conjunto de dados COCO, vão mais longe, calculando a média do mAP em vários limiares de IoU para fornecer uma avaliação ainda mais robusta.

Distinguir o mAP de outras métricas

Embora relacionado com outras métricas de avaliação, o mAP tem um objetivo distinto.

• Exatidão: A precisão mede a relação entre as previsões corretas e o número total de previsões. É geralmente utilizada para tarefas de classificação e não é adequada para a deteção de objectos, em que uma previsão tem de ser corretamente classificada e localizada.
• Pontuação F1: A pontuação F1 é a média harmónica de Precisão e Recuperação. Embora útil, é normalmente calculada num único limiar de confiança. Em contrapartida, o mAP fornece uma avaliação mais abrangente, calculando a média do desempenho em todos os limiares.
• Confiança: Não se trata de uma métrica de avaliação para o modelo como um todo, mas sim de uma pontuação atribuída a cada previsão individual, indicando o grau de certeza do modelo em relação a essa deteção. O cálculo do mAP utiliza estas pontuações de confiança para criar a curva Precisão-Recall.

Ferramentas e parâmetros de referência

Os conjuntos de dados de referência padronizados são cruciais para o avanço do campo da deteção de objectos. Conjuntos de dados como o PASCAL VOC e o COCO utilizam o mAP como métrica principal para classificar as submissões em tabelas de classificação públicas. Isto permite aos investigadores e profissionais comparar objetivamente diferentes modelos, como o YOLOv8 e o YOLO11.

Plataformas como o Ultralytics HUB apresentam de forma proeminente o mAP para ajudar os utilizadores a acompanhar o desempenho durante a formação e validação do modelo. As estruturas de aprendizagem profunda subjacentes que alimentam estes modelos, como o PyTorch e o TensorFlow, fornecem as ferramentas necessárias para criar e treinar modelos que são avaliados com o mAP.

Aplicações no mundo real

A métrica mAP é fundamental para o desenvolvimento de sistemas de IA fiáveis.

1. Veículos autónomos: Na IA para veículos autónomos, um modelo de perceção deve detetar com precisão vários objectos como carros, peões, ciclistas e sinais de trânsito. Uma pontuação elevada de mAP num conjunto de dados desafiante como o Argoverse indica que o modelo é robusto e fiável em todas as classes críticas, o que é essencial para garantir a segurança. Empresas líderes neste espaço, como a Waymo, dependem fortemente de avaliações rigorosas usando métricas como o mAP.
2. Análise de imagens médicas: Ao treinar um modelo para detetar anomalias como tumores ou lesões a partir de exames utilizando um conjunto de dados como o conjunto de dados de tumores cerebrais, o mAP é utilizado para avaliar a sua precisão de diagnóstico global. Um mAP elevado garante que o modelo não só é bom a detetar o tipo mais comum de anomalia, como também é eficaz a identificar condições mais raras, mas igualmente importantes. Esta avaliação exaustiva é um passo fundamental antes de um modelo poder ser considerado para implantação em contextos de cuidados de saúde.