Accuracy vs. precision vs. recall em machine learning

Machine learning (ML) é um ramo da inteligência artificial (IA) que se concentra na criação de sistemas que aprendem com dados. Desempenha um papel central em muitas outras áreas da IA, incluindo a visão computacional, na qual as máquinas interpretam imagens, e o processamento de linguagem natural, no qual compreendem e geram linguagem humana.

Frequentemente, esses modelos de IA utilizam técnicas de deep learning para fazer previsões a partir de dados. Embora esses sistemas possam ser muito eficazes, nem sempre produzem previsões corretas. Alguns resultados podem ser precisos, enquanto outros não atingem o objetivo.

Saber como esses erros ocorrem é uma parte essencial da avaliação do desempenho de um modelo. Para medir o desempenho, podemos utilizar métricas de avaliação de modelos.

As métricas de avaliação comuns incluem a acurácia (correção geral), a precisão (confiabilidade das previsões positivas) e a revocação (o quão bem o modelo identifica os positivos reais). À primeira vista, podem parecer semelhantes, mas cada uma se concentra numa parte diferente do comportamento de um modelo.

Neste artigo, vamos analisar mais detalhadamente cada uma destas métricas de desempenho de modelos de IA. Também vamos explorar a relação entre elas e como escolher a mais adequada para o teu caso de uso. Vamos começar!

As métricas de avaliação de modelos são importantes em machine learning#

Um modelo de machine learning pode parecer ter um bom desempenho à primeira vista. No entanto, sem as métricas de avaliação adequadas, é difícil compreender o quão precisos são os seus resultados. Estas métricas dão estrutura à avaliação do modelo e ajudam a responder a uma pergunta essencial: as previsões do modelo são úteis e confiáveis para uma determinada tarefa?

Métricas como a acurácia, a precisão e a revocação oferecem aos desenvolvedores de IA uma forma clara de medir o desempenho de um modelo. Por exemplo, ao comparar diferentes modelos, estas métricas permitem identificar qual tem o melhor desempenho numa tarefa específica. Ajudam a avaliar o desempenho e orientam a escolha do modelo que melhor se adapta aos objetivos de um projeto de IA.

Fig. 1. Fluxo de trabalho de treino e avaliação de modelos (Fonte)

Estas métricas também tornam as comparações de desempenho mais objetivas. Em vez de depender de suposições ou observações incompletas, fornecem informações mensuráveis sobre o comportamento de um modelo em diferentes situações. Dessa forma, destacam quais aspetos do desempenho são mais importantes em cada contexto.

Por exemplo, a escolha da métrica depende frequentemente da aplicação. Em aplicações de IA na saúde, a revocação é importante porque o objetivo é identificar o maior número possível de casos positivos, mesmo que alguns negativos sejam sinalizados por engano. Em contrapartida, um filtro de spam de e-mail pode dar prioridade à precisão para evitar marcar incorretamente e-mails legítimos como spam.

A matriz de confusão: a base das métricas de classificação#

A matriz de confusão é uma tabela de duas por duas células fundamental para avaliar modelos de IA. Organiza as previsões em quatro categorias, comparando os resultados reais com os resultados previstos (as respostas fornecidas pelo modelo).

Esta comparação fornece uma visão detalhada do desempenho do modelo. Constitui a base de métricas de avaliação importantes, como a precisão e a revocação, que são calculadas diretamente a partir dos valores da matriz.

As linhas da tabela representam as classes reais e as colunas representam as classes previstas. Cada célula mostra a contagem de resultados nessa categoria. Em termos simples, apresenta quantas previsões estavam corretas e que tipos de erros o modelo cometeu.

A matriz de confusão é especialmente útil quando os dados estão desequilibrados, ou seja, quando algumas categorias têm muitos mais exemplos do que outras. Também é útil quando diferentes tipos de erros têm custos diferentes.

Por exemplo, na deteção de fraude, identificar atividades fraudulentas é fundamental, mas sinalizar incorretamente transações reais também pode causar problemas. A matriz deixa claro com que frequência ocorre cada tipo de erro.

Elementos da matriz de confusão#

Eis uma visão geral dos diferentes elementos de uma matriz de confusão:

• Verdadeiro positivo (TP): quando o modelo prevê corretamente uma instância positiva, esta é registada como verdadeiro positivo. Por exemplo, um modelo de visão computacional classifica corretamente um veículo numa imagem.
• Verdadeiro negativo (TN): um verdadeiro negativo ocorre quando o modelo identifica corretamente uma instância negativa. Por exemplo, um classificador de e-mails marca uma mensagem normal como não sendo spam.
• Falso positivo (FP): o modelo gera um falso positivo quando prevê incorretamente um resultado positivo para uma instância que, na realidade, é negativa. Também conhecido como erro do Tipo I, isto pode acontecer quando um sistema de deteção de fraude sinaliza uma transação válida como fraudulenta.
• Falso negativo (FN): um falso negativo é registado quando o modelo não deteta um caso positivo e prevê incorretamente que é negativo. Também conhecido como erro do Tipo II, isto pode ocorrer quando uma ferramenta de diagnóstico não deteta uma doença num paciente que está realmente doente.

Fig. 2. Os elementos de uma matriz de confusão (Fonte)

Representação visual e interpretação da matriz de confusão#

Uma matriz de confusão é apresentada em formato de grelha. O eixo vertical mostra as classes reais e o eixo horizontal mostra as classes previstas. As previsões corretas aparecem na diagonal, representando verdadeiros positivos e verdadeiros negativos.

Os erros aparecem fora da diagonal, abrangendo falsos positivos e falsos negativos. Esta estrutura facilita a identificação de pontos fortes e fracos.

O que é a acurácia em machine learning?#

A acurácia é uma das métricas mais utilizadas para avaliar o desempenho de um modelo de machine learning. Mede com que frequência as previsões estão corretas em todas as classes. Por outras palavras, responde a uma pergunta simples: de todas as previsões feitas pelo modelo de IA, quantas estavam corretas?

A fórmula da acurácia é o número de previsões corretas (que inclui verdadeiros positivos e verdadeiros negativos) dividido pelo número total de previsões. A acurácia é simples de calcular e fácil de compreender, o que a torna um ponto de partida comum na avaliação de modelos.

Em geral, a acurácia é confiável ao lidar com conjuntos de dados equilibrados. No entanto, pode ser enganadora em conjuntos de dados desequilibrados, nos quais uma classe domina as outras. Um modelo que prevê sempre a classe maioritária pode ainda obter uma pontuação de acurácia elevada, mas não detetar outras classes minoritárias.

Por exemplo, num conjunto de dados de imagens em que apenas algumas imagens contêm peões, um modelo que prevê “sem peão” para todas as imagens pode ainda alcançar uma acurácia elevada, mas não detetar de todo os peões reais.

Isto acontece porque a acurácia, por si só, não mostra que tipos de erros um modelo comete nem com que frequência ocorrem. Por isso, também é importante analisar métricas como a precisão e a revocação para compreender plenamente o desempenho de um modelo de IA.

Análise aprofundada da precisão: minimizar falsos alarmes#

A precisão é uma métrica de avaliação essencial que mede a exatidão das previsões positivas de um modelo. Responde à pergunta: de todas as instâncias previstas como positivas, quantas estavam corretas?

A fórmula da precisão é o número de verdadeiros positivos dividido pela soma dos verdadeiros positivos e falsos positivos. É particularmente importante quando uma previsão positiva seria dispendiosa se se revelasse incorreta.

Fig. 3. Comparação entre acurácia e precisão. (Fonte)

Por exemplo, na deteção de fraude, um modelo com baixa precisão pode sinalizar muitas transações válidas como fraudulentas, criando problemas desnecessários tanto para os utilizadores como para as equipas de suporte. Um modelo com alta precisão reduz este risco, garantindo que as transações sinalizadas têm maior probabilidade de ser realmente fraudulentas.

Embora uma alta precisão seja positiva, os modelos que se concentram demasiado nela podem tornar-se muito seletivos e não detetar casos positivos reais. Por isso, a métrica de precisão é frequentemente analisada juntamente com a revocação para manter o desempenho equilibrado.

O que é a revocação?#

A revocação é uma métrica utilizada para medir o quão bem um modelo identifica casos positivos reais. É conhecida como sensibilidade ou taxa de verdadeiros positivos e responde à pergunta: de todas as instâncias positivas reais, quantas foram detetadas corretamente pelo modelo?

A fórmula da revocação é o número de verdadeiros positivos dividido pela soma dos verdadeiros positivos e falsos negativos. Uma pontuação elevada de revocação mostra que o modelo está a captar a maioria dos casos positivos reais nos dados.

A revocação é essencial em setores como a saúde, nos quais não detetar uma condição pode atrasar o tratamento e colocar os pacientes em risco. Mesmo que alguns casos negativos sejam sinalizados incorretamente, identificar todos os casos reais continua a ser a prioridade máxima.

No entanto, os modelos que se concentram apenas na revocação podem sinalizar demasiados falsos positivos, o que reduz a precisão e prejudica a eficiência geral do modelo. Equilibrar a revocação e a precisão é crucial para um desempenho confiável de modelos de IA.

O equilíbrio entre precisão e revocação#

A precisão e a revocação movem-se frequentemente em direções opostas. Quando uma melhora, a outra pode diminuir. Este compromisso é um desafio comum nas tarefas de machine learning.

Um modelo de alta precisão prevê algo como positivo apenas quando tem confiança. Isto reduz os falsos alarmes, mas pode não detetar positivos reais, diminuindo a revocação. Um modelo que tenta detetar todos os positivos aumenta a revocação, mas corre o risco de gerar mais falsos alarmes, reduzindo a precisão.

Este compromisso torna-se mais claro quando ajustas o limiar de decisão do modelo. O limiar é o ponto de corte que um sistema utiliza para transformar uma pontuação ou probabilidade numa ação ou num rótulo. Reduzir o limiar faz com que o sistema aja positivamente com maior frequência, o que pode aumentar a revocação, mas reduzir a precisão. Aumentar o limiar tem o efeito oposto: o modelo prevê menos positivos, a precisão melhora, mas a revocação normalmente diminui.

Imagina que estás a trabalhar na deteção de spam. O modelo tem de equilibrar o risco de deixar spam entrar na caixa de entrada com o risco de bloquear e-mails reais. Um filtro rigoroso pode ainda não detetar algum spam, enquanto um filtro mais permissivo pode bloquear acidentalmente mensagens legítimas. O equilíbrio adequado depende do caso de uso e do custo de cada tipo de erro.

A importância da curva de precisão–revocação#

A curva de precisão-revocação, ou curva PR, mostra como a precisão e a revocação variam à medida que o limiar de decisão do modelo muda. Cada ponto representa um compromisso diferente entre as duas métricas. A curva PR é especialmente útil para conjuntos de dados desequilibrados, nos quais uma classe é muito menos frequente.

Também fornece informações mais significativas do que a curva Característica de Operação do Receptor (ROC), que também mostra o quão bem um modelo separa positivos de negativos em diferentes limiares de decisão. Um modelo com alta precisão e alta revocação terá uma curva de precisão–revocação que permanece próxima do canto superior direito, o que geralmente é ideal.

Introdução à pontuação F1: uma métrica combinada para o equilíbrio#

A pontuação F1 fornece um único valor que representa o equilíbrio entre a precisão e a revocação. A pontuação F1 é calculada como duas vezes o produto da precisão e da revocação, dividido pela soma da precisão e da revocação. É útil quando tanto os falsos positivos como os falsos negativos são importantes, e quando se trabalha com conjuntos de dados desequilibrados ou é necessária uma visão equilibrada do desempenho do modelo.

Fig. 4. Cálculo da pontuação F1 utilizando precisão e revocação (Fonte)

Para além da acurácia, precisão e revocação#

Embora a acurácia, a precisão e a revocação sejam essenciais, outras métricas oferecem informações adicionais com base no tipo de modelo e nas características do conjunto de dados.

Eis algumas métricas utilizadas habitualmente que ajudam a avaliar diferentes aspetos do desempenho:

• Especificidade: mede o quão bem o modelo identifica os negativos reais. É útil quando é importante evitar falsos positivos.
• AUC: AUC, ou Área sob a curva, fornece uma única pontuação que reflete o quão bem o modelo consegue distinguir entre classes.
• Perda logarítmica: a perda logarítmica é utilizada para medir o grau de confiança de um modelo ao fazer previsões e aplica uma penalização maior a previsões erradas feitas com alta confiança. Aqui, confiança refere-se ao grau de certeza do modelo relativamente à sua previsão.
• Avaliação multilabel: em tarefas multilabel, as métricas são calculadas como uma média entre os rótulos para refletir o desempenho geral do modelo.

Aplicação da acurácia, precisão e revocação na visão computacional#

Agora que compreendemos melhor a acurácia, a precisão e a revocação, vamos analisar como estas métricas são aplicadas na visão computacional.

Modelos de visão computacional como o Ultralytics YOLO11 suportam tarefas como a deteção de objetos, nas quais o modelo identifica que objetos estão presentes numa imagem e localiza-os utilizando caixas delimitadoras. Cada previsão inclui tanto o rótulo do objeto como a sua posição, o que torna a avaliação mais complexa do que simplesmente verificar se um rótulo está correto.

Fig. 5. Um exemplo da utilização do Ultralytics YOLO11 para deteção de objetos. (Fonte)

Considera uma aplicação de retalho na qual são utilizadas câmaras para acompanhar automaticamente os produtos nas prateleiras. Um modelo de deteção de objetos pode identificar itens como caixas de cereais, latas de refrigerante ou garrafas de água e marcar as respetivas posições.

Neste caso, a precisão indica quantos dos itens detetados estão realmente corretos. Uma precisão elevada significa que o sistema evita falsos positivos, como classificar uma sombra ou um objeto do fundo como um produto. A revocação mostra quantos dos produtos reais na prateleira o modelo conseguiu detetar. Uma revocação elevada significa que menos itens são ignorados, o que é fundamental para obter contagens precisas do inventário.

A acurácia ainda pode fornecer uma medida geral de correção, mas, neste tipo de contexto, não detetar nem que sejam alguns produtos ou detetar itens que não existem pode ter um grande impacto na gestão de stock. Por isso, os desenvolvedores analisam a precisão, a revocação e a acurácia em conjunto para garantir que o sistema é confiável e prático para utilização no mundo real.

Acurácia, precisão e revocação: principais conclusões#

A acurácia, a precisão e a revocação evidenciam diferentes aspetos do desempenho de um modelo de machine learning. Depender de uma única métrica pode ser enganador.

Ferramentas e métricas como a matriz de confusão, as curvas de precisão–revocação e a pontuação F1 ajudam a revelar compromissos e a orientar decisões sobre como melhorar o modelo de ML. Ao escolher a combinação certa de métricas para uma solução de IA específica, podes garantir que os modelos são precisos, confiáveis e eficazes em aplicações do mundo real.

Explora a nossa comunidade, que está a crescer! Consulta o nosso repositório no GitHub para saberes mais sobre IA. Queres começar os teus projetos de visão computacional? Consulta as nossas opções de licenciamento. Descobre a IA na agricultura e a IA de visão na robótica visitando as nossas páginas de soluções!