Precisão média (mAP) na deteção de objetos

A adoção da IA está crescendo rapidamente, e a IA está sendo integrada a diversas inovações, de carros autônomos a sistemas de varejo capazes de identificar produtos nas prateleiras. Essas tecnologias dependem da visão computacional, um ramo da inteligência artificial (AI) que permite que máquinas analisem dados visuais.

Uma métrica de avaliação importante usada para medir a precisão de sistemas e algoritmos de visão computacional é a precisão média (mAP). A métrica mAP indica o quanto a previsão de um modelo de IA visual corresponde aos resultados do mundo real.

Uma tarefa comum de visão computacional é a detecção de objetos, na qual um modelo identifica vários objetos em uma imagem e desenha caixas delimitadoras ao redor deles. A mAP é a métrica padrão usada para avaliar o desempenho de modelos de detecção de objetos e é amplamente utilizada para comparar modelos de aprendizado profundo, como o Ultralytics YOLO11.

Neste artigo, veremos como a precisão média é calculada e por que ela é essencial para quem treina ou avalia modelos de detecção de objetos.

O que é precisão média média (mAP)?#

A precisão média média é uma pontuação que mostra o nível de precisão de um modelo de deep learning em tarefas relacionadas à recuperação de informações visuais, como detectar e identificar diferentes objetos em uma imagem. Por exemplo, considere um modelo de detecção de objetos que analisa uma foto com um cachorro, um gato e um carro. Um modelo confiável consegue detectar cada objeto e desenhar caixas delimitadoras e rótulos ao redor deles, destacando onde cada objeto está e o que é.

A mAP indica o desempenho do modelo nessa tarefa em muitas imagens e diferentes tipos de objetos. Ela verifica se o modelo identifica corretamente cada objeto e sua localização na imagem. A pontuação varia de 0 a 1: 1 significa que o modelo encontrou tudo perfeitamente, e 0 significa que não detectou nenhum objeto.

Conceitos-chave da precisão média média (mAP)#

Antes de explorarmos os conceitos por trás da precisão média média em machine learning, vamos entender melhor dois termos básicos: verdade fundamental e previsões.

Verdade fundamental refere-se aos dados de referência corretos, nos quais objetos e suas localizações na imagem são cuidadosamente rotulados por pessoas por meio de um processo conhecido como anotação. Já as previsões são os resultados que os modelos de IA produzem após analisar uma imagem. Ao comparar as previsões do modelo de IA com a verdade fundamental, podemos medir o quanto o modelo se aproximou dos resultados corretos.

Fig. 1. As previsões do modelo e as caixas delimitadoras da verdade fundamental. Imagem do autor.

Matriz de confusão#

Uma matriz de confusão costuma ser usada para entender a precisão de um modelo de detecção de objetos. É uma tabela que mostra como as previsões do modelo correspondem às respostas corretas reais (verdade fundamental). Com essa tabela, podemos obter uma análise de quatro componentes ou resultados principais: verdadeiros positivos, falsos positivos, falsos negativos e verdadeiros negativos.

Veja o que esses componentes representam na matriz de confusão:

• Verdadeiro positivo (TP): O modelo detecta corretamente um objeto e sua localização.
• Falso positivo (FP): O modelo fez uma detecção, mas ela estava incorreta.
• Falso negativo (FN): Um objeto que estava presente na imagem, mas que o modelo não conseguiu detectar.
• Verdadeiro negativo (TN): Os verdadeiros negativos ocorrem quando o modelo identifica corretamente a ausência de um objeto.

Os verdadeiros negativos não são usados com frequência na detecção de objetos, pois geralmente ignoramos as muitas regiões vazias de uma imagem. No entanto, eles são essenciais em outras tarefas de visão computacional, como a classificação de imagens, em que o modelo atribui um rótulo à imagem. Por exemplo, se a tarefa é detectar se uma imagem contém um gato ou não, e o modelo identifica corretamente "nenhum gato" quando a imagem não contém um, isso é um verdadeiro negativo.

Fig. 2. Resultados da classificação em uma matriz de confusão. Imagem do autor.

Interseção sobre União (IoU)#

Outra métrica importante na avaliação de modelos de detecção de objetos é a Interseção sobre União (IoU). Para esses modelos de IA visual, simplesmente detectar a presença de um objeto em uma imagem não é suficiente; o modelo também precisa localizar o objeto para desenhar caixas delimitadoras.

A métrica IoU mede o quanto a caixa prevista pelo modelo corresponde à caixa correta real (verdade fundamental). A pontuação varia entre 0 e 1: 1 significa uma correspondência perfeita e 0 significa nenhuma sobreposição.

Por exemplo, uma IoU mais alta (como 0,80 ou 0,85) significa que a caixa prevista corresponde de perto à caixa da verdade fundamental, indicando uma localização precisa. Uma IoU mais baixa (como 0,30 ou 0,25) significa que o modelo não localizou o objeto com precisão.

Para determinar se uma detecção foi bem-sucedida, usamos diferentes limiares. Um limiar comum de IoU é 0,5, o que significa que a caixa prevista precisa se sobrepor à caixa da verdade fundamental em pelo menos 50% para ser considerada um verdadeiro positivo. Qualquer sobreposição abaixo desse limiar é considerada um falso positivo.

Fig. 3. Entendendo a Interseção sobre União. Imagem do autor.

Precisão e recall#

Até aqui, exploramos algumas métricas básicas de avaliação para entender o desempenho dos modelos de detecção de objetos. Com base nisso, duas das métricas mais importantes são precisão e recall. Elas mostram claramente a precisão das detecções do modelo. Vamos ver o que são.

Os valores de precisão nos dizem quantas previsões do modelo estavam realmente corretas. Eles respondem à pergunta: de todos os objetos que o modelo afirmou ter detectado, quantos estavam de fato presentes?

Já os valores de recall medem o quanto o modelo consegue encontrar todos os objetos reais presentes na imagem. Eles respondem à pergunta: de todos os objetos reais presentes, quantos o modelo detectou corretamente?

Juntas, a precisão e a revocação nos dão uma visão mais clara do desempenho de um modelo. Por exemplo, se um modelo prevê 10 carros em uma imagem e 9 deles são de fato carros, sua precisão é de 90%.

Essas duas métricas de avaliação costumam envolver uma troca: um modelo pode alcançar alta precisão ao fazer apenas previsões das quais tem plena confiança, mas isso pode fazer com que deixe de detectar muitos objetos, reduzindo o recall. Por outro lado, o modelo também pode alcançar um recall muito alto prevendo uma caixa delimitadora em quase todos os lugares, mas isso reduziria a precisão.

Fig. 4. Precisão e recall. Imagem do autor.

Precisão média#

Embora a precisão e o recall nos ajudem a entender o desempenho de um modelo em previsões individuais, a precisão média (AP) pode oferecer uma visão mais ampla. Ela mostra como a precisão do modelo muda à medida que ele tenta detectar mais objetos e resume seu desempenho em um único número.

Para calcular a pontuação de precisão média, podemos primeiro criar uma métrica combinada, semelhante a um gráfico, chamada curva de precisão-recall (ou curva PR) para cada tipo de objeto. Essa curva mostra o que acontece à medida que o modelo faz mais previsões.

Imagine uma situação em que o modelo começa detectando apenas os objetos mais fáceis ou óbvios. Nessa etapa, a precisão é alta porque a maioria das previsões está correta, mas o recall é baixo, pois muitos objetos ainda não foram detectados. À medida que o modelo tenta detectar mais objetos, incluindo os mais difíceis ou raros, geralmente surgem mais erros. Isso faz a precisão cair enquanto o recall aumenta.

A precisão média corresponde à área sob a curva (AUC) da curva PR. Uma área maior significa que o modelo consegue manter a precisão de suas previsões mesmo ao detectar mais objetos. A AP é calculada separadamente para cada rótulo de classe.

Por exemplo, em um modelo capaz de detectar carros, bicicletas e pedestres, podemos calcular os valores de AP individualmente para cada uma dessas três categorias. Isso nos ajuda a ver quais objetos o modelo detecta bem e onde ainda pode precisar de melhorias.

Fig. 5. Uma curva PR para cinco classes diferentes. (Fonte)

Precisão média média#

Depois de calcular a precisão média para cada classe de objeto, ainda precisamos de uma única pontuação que reflita o desempenho geral do modelo em todas as classes. Isso pode ser feito com a fórmula da precisão média. Ela calcula a média das pontuações de AP de todas as categorias.

Por exemplo, vamos supor que um modelo de visão computacional como o Ultralytics YOLO11 alcance uma AP de 0.827 para carros, 0.679 para motocicletas, 0.355 para caminhões, 0.863 para ônibus e 0.982 para bicicletas. Usando a fórmula da mAP, podemos somar esses números e dividir pelo número total de classes da seguinte forma:

mAP = (0.827 + 0.679 + 0.355 + 0.863 + 0.982) ÷ 5 = 0.7412 ≈ 0.741

A pontuação mAP de 0.741 oferece uma maneira direta de avaliar o desempenho do modelo em todas as classes de objetos. Um valor próximo de 1 significa que o modelo é preciso na maioria das categorias, enquanto um valor mais baixo sugere dificuldades com algumas delas.

Importância da AP e da mAP na visão computacional#

Agora que entendemos melhor como a AP e a mAP são calculadas e quais são seus componentes, veja uma visão geral de sua importância na visão computacional:

• AP baixa para uma classe específica: Uma AP baixa para uma única classe geralmente significa que o modelo tem dificuldades com essa classe de objeto específica. Isso pode ocorrer por falta de dados de treinamento ou por desafios visuais nas imagens, como oclusão.
• Erros de localização: Um valor de mAP mais alto em um limiar de IoU mais baixo (como mAP₅₀), combinado com uma queda significativa em um limiar de IoU mais alto (como mAP₇₅), indica que o modelo consegue detectar objetos, mas tem dificuldade para localizá-los com precisão.
• Sobreajuste: Um valor de mAP mais alto no conjunto de dados de treinamento, mas mais baixo no conjunto de validação, é um sinal de sobreajuste, que torna o modelo pouco confiável para imagens novas.

Aplicações reais da precisão média média#

A seguir, vamos explorar como métricas importantes, como a mAP, podem ajudar na criação de casos de uso reais de visão computacional.

Veículos autônomos: por que uma mAP mais alta significa estradas mais seguras#

No caso dos carros autônomos, a detecção de objetos é fundamental para identificar pedestres, placas de trânsito, ciclistas e marcações de faixa. Por exemplo, se uma criança atravessar a rua correndo de repente, o carro terá poucos segundos para detectar o objeto (a criança), localizar onde ele está, acompanhar seu movimento e tomar a ação necessária (acionar os freios).

Modelos como o Ultralytics YOLO11 foram concebidos para a deteção de objetos em tempo real em cenários de alto risco. Nestes casos, o mAP torna-se uma medida de segurança fundamental.

Uma pontuação mAP alta significa que o sistema tem maior probabilidade de detectar a criança e localizar sua posição com precisão, para acionar os freios com o mínimo de atraso. Uma mAP baixa pode significar detecções perdidas ou classificações incorretas perigosas, como confundir a criança com outro objeto pequeno.

Fig. 6. Um exemplo da utilização do YOLO11 para detetar peões na estrada. (Fonte)

Utilizar o mAP para uma deteção precisa de produtos#

Da mesma forma, no retalho, os modelos de deteção de objetos podem ser usados para automatizar tarefas como a monitorização do stock e os processos de pagamento. Quando um cliente lê o código de um produto numa caixa de autoatendimento, um erro de deteção pode causar frustração.

Uma pontuação elevada de mAP garante que o modelo distingue com precisão produtos semelhantes e desenha caixas delimitadoras precisas, mesmo quando os artigos estão muito juntos. Uma pontuação baixa de mAP pode levar a confusões. Por exemplo, se o modelo confundir uma garrafa de sumo de laranja com uma garrafa de sumo de maçã visualmente semelhante, isso pode resultar numa cobrança incorreta e em relatórios de inventário imprecisos.

Os sistemas de retalho integrados com modelos como o Ultralytics YOLO11 podem detetar produtos em tempo real, compará-los com o inventário e atualizar instantaneamente os sistemas de back-end. Em ambientes de retalho dinâmicos, o mAP desempenha um papel crucial para manter as operações precisas e fiáveis.

Melhorar a precisão do diagnóstico na área da saúde com um mAP elevado#

Melhorar a precisão do diagnóstico na área da saúde começa pela deteção precisa em imagens médicas. Modelos como o YOLO11 podem ajudar os radiologistas a identificar tumores, fraturas ou outras anomalias nestes exames médicos. Neste contexto, a precisão média (média) é uma métrica essencial para avaliar a fiabilidade clínica de um modelo.

Um mAP alto indica que o modelo alcança tanto uma alta revocação (identifica a maioria dos problemas reais) quanto uma alta precisão (evita alarmes falsos), algo crucial para a tomada de decisões clínicas.

No entanto, uma pontuação baixa de mAP pode suscitar preocupações. Por exemplo, se um modelo não detetar um tumor, isso pode atrasar o diagnóstico ou levar a um tratamento incorreto.

Vantagens e desvantagens de utilizar o mAP#

Eis as principais vantagens de utilizar a precisão média (média) para avaliar modelos de deteção de objetos:

• Métrica padronizada: A mAP é o padrão do setor para avaliar modelos de detecção de objetos. O valor da mAP permite comparações justas e consistentes entre diferentes modelos.
• Reflete o desempenho no mundo real: um mAP elevado indica que o modelo se destaca na deteção de várias classes de objetos e mantém um desempenho sólido em cenários complexos do mundo real.
• Diagnósticos por classe: A mAP é calculada a partir das pontuações de AP de cada classe, o que facilita identificar categorias com desempenho insatisfatório (como bicicletas ou placas de trânsito) e ajustar o modelo de acordo.

Embora a métrica mAP ofereça várias vantagens, há algumas limitações a considerar. Eis alguns fatores a ter em conta:

• Difícil de interpretar para intervenientes sem conhecimentos técnicos: as equipas empresariais ou clínicas podem considerar os valores de mAP abstratos, ao contrário de métricas mais intuitivas e fáceis de compreender.
• Não reflete as restrições em tempo real: o mAP não tem em conta a velocidade de inferência nem a latência, fatores cruciais para a implementação em aplicações sensíveis ao tempo.

Principais conclusões#

Vimos que a precisão média (média) não é apenas uma pontuação técnica, mas também um reflexo do potencial desempenho de um modelo no mundo real. Quer seja num sistema de veículos autónomos ou numa caixa de pagamento de retalho, uma pontuação elevada de mAP é um indicador fiável do desempenho e da prontidão prática de um modelo.

Embora a mAP seja uma métrica essencial e de grande impacto, ela deve ser considerada parte de uma estratégia de avaliação abrangente. Em aplicações críticas, como saúde e direção autônoma, não basta confiar apenas na mAP.

Também é necessário considerar fatores adicionais, como a velocidade de inferência (a rapidez com que o modelo faz previsões), o tamanho do modelo (que afeta a implementação em dispositivos de ponta) e a análise qualitativa de erros (que permite compreender os tipos de erros cometidos pelo modelo), para garantir que o sistema é seguro, eficiente e verdadeiramente adequado à finalidade pretendida.

Junta-te à nossa comunidade em crescimento e ao nosso repositório do GitHub para saberes mais sobre visão por computador. Explora as nossas páginas de soluções para conheceres as aplicações de visão por computador na agricultura e de IA na logística. Consulta as nossas opções de licenciamento para começares hoje mesmo a criar o teu próprio modelo de visão por computador!