Exatidão vs. precisão vs. revocação em aprendizagem automática

O aprendizado de máquina (ML) é um ramo da inteligência artificial (IA) que se concentra na criação de sistemas capazes de aprender com dados. Ele desempenha um papel central em muitas outras áreas da IA, incluindo a visão computacional, na qual as máquinas interpretam imagens, e o processamento de linguagem natural, no qual entendem e geram linguagem humana.

Muitas vezes, esses modelos de IA usam técnicas de aprendizado profundo para fazer previsões a partir de dados. Embora esses sistemas possam ser muito eficazes, nem sempre produzem previsões corretas. Algumas previsões podem ser precisas, enquanto outras não acertam.

Entender como esses erros ocorrem é fundamental para avaliar o desempenho de um modelo. Para medir o desempenho, podemos usar métricas de avaliação de modelos.

Entre as métricas de avaliação comuns estão a acurácia (correção geral), a precisão (confiabilidade das previsões positivas) e a revocação (capacidade do modelo de identificar os positivos reais). À primeira vista, elas podem parecer semelhantes, mas cada uma se concentra em um aspecto diferente do comportamento do modelo.

Neste artigo, vamos analisar mais de perto cada uma dessas métricas de desempenho de modelos de IA. Também vamos explorar como elas se relacionam e como escolher a mais adequada para o teu caso de uso.

As métricas de avaliação de modelos são importantes no aprendizado de máquina#

À primeira vista, pode parecer que um modelo de aprendizado de máquina está apresentando bons resultados. Mas, sem as métricas de avaliação certas, é difícil entender o grau de precisão dos resultados. Essas métricas estruturam a avaliação do modelo e ajudam a responder a uma pergunta essencial: as previsões do modelo são úteis e confiáveis para determinada tarefa?

Métricas como acurácia, precisão e revocação dão aos desenvolvedores de IA uma maneira clara de medir o desempenho de um modelo. Por exemplo, ao comparar modelos diferentes, essas métricas permitem identificar qual deles tem o melhor desempenho em uma tarefa específica. Elas ajudam a avaliar o desempenho e orientam a escolha do modelo mais adequado aos objetivos de um projeto de IA.

Fig. 1. Fluxo de trabalho de treinamento e avaliação de modelos (Fonte)

Essas métricas também tornam as comparações de desempenho mais objetivas. Em vez de depender de suposições ou observações incompletas, elas fornecem informações mensuráveis sobre o comportamento de um modelo em diferentes situações. Assim, destacam quais aspectos do desempenho são mais importantes em cada contexto.

Por exemplo, a escolha da métrica muitas vezes depende da aplicação. Em aplicações de IA na área da saúde, a revocação é importante porque o objetivo é identificar o maior número possível de casos positivos, mesmo que alguns casos negativos sejam sinalizados por engano. Em contrapartida, um filtro de spam de e-mail pode priorizar a precisão para evitar classificar incorretamente e-mails legítimos como spam.

A matriz de confusão: a base das métricas de classificação#

Na classificação binária, a matriz de confusão é uma tabela de duas por duas células, fundamental para avaliar modelos de IA. Ela organiza as previsões em quatro categorias, comparando os resultados reais com os resultados previstos (as respostas dadas pelo modelo).

Essa comparação oferece uma visão detalhada do desempenho do modelo. Ela serve de base para métricas de avaliação importantes, como precisão e revocação, calculadas diretamente a partir dos valores da matriz.

As linhas da tabela representam as classes reais, e as colunas representam as classes previstas. Cada célula mostra a contagem de resultados naquela categoria. Em poucas palavras, a matriz mostra quantas previsões estavam corretas e quais tipos de erros o modelo cometeu.

A matriz de confusão é especialmente útil quando os dados estão desbalanceados, ou seja, quando algumas categorias têm muito mais exemplos do que outras. Ela também é útil quando diferentes tipos de erros têm custos diferentes.

Por exemplo, na detecção de fraudes, identificar atividades fraudulentas é essencial, mas sinalizar incorretamente transações legítimas também pode causar problemas. A matriz deixa claro com que frequência ocorre cada tipo de erro.

Elementos da matriz de confusão#

Veja uma visão geral dos diferentes elementos de uma matriz de confusão:

• Verdadeiro positivo (TP): Quando o modelo prevê corretamente uma instância positiva, o resultado é registrado como verdadeiro positivo. Por exemplo, um modelo de visão computacional classifica corretamente um veículo em uma imagem.
• Verdadeiro negativo (TN): Um verdadeiro negativo ocorre quando o modelo identifica corretamente uma instância negativa. Por exemplo, um classificador de e-mail identifica uma mensagem comum como não sendo spam.
• Falso positivo (FP): O modelo gera um falso positivo quando prevê incorretamente um resultado positivo para um caso que, na realidade, é negativo. Também conhecido como erro do tipo I, isso pode acontecer quando um sistema de deteção de fraude sinaliza como fraudulenta uma transação legítima.
• Falso negativo (FN): Registra-se um falso negativo quando o modelo não deteta um caso positivo e o classifica incorretamente como negativo. Também conhecido como erro do tipo II, isso pode ocorrer quando uma ferramenta de diagnóstico não deteta uma doença num paciente que está doente.

Fig. 2. Os elementos de uma matriz de confusão (Fonte)

Representação visual e interpretação da matriz de confusão#

Uma matriz de confusão é exibida em formato de grade. O eixo vertical mostra as classes reais, e o eixo horizontal mostra as classes previstas. As previsões corretas aparecem na diagonal, representando os verdadeiros positivos e os verdadeiros negativos.

Os erros ficam fora da diagonal e incluem falsos positivos e falsos negativos. Essa estrutura facilita a identificação dos pontos fortes e fracos.

O que é acurácia no aprendizado de máquina?#

A acurácia é uma das métricas mais usadas para avaliar o desempenho de um modelo de aprendizado de máquina. Ela mede a frequência com que as previsões estão corretas em todas as classes. Em outras palavras, responde a uma pergunta simples: de todas as previsões feitas pelo modelo de IA, quantas estavam certas?

A fórmula da acurácia consiste em dividir o número de previsões corretas (que inclui verdadeiros positivos e verdadeiros negativos) pelo número total de previsões. A acurácia é simples de calcular e fácil de entender, o que faz dela um ponto de partida comum na avaliação de modelos.

Em geral, a acurácia é confiável ao lidar com conjuntos de dados balanceados. No entanto, ela pode ser enganosa em conjuntos de dados desbalanceados, nos quais uma classe predomina sobre as outras. Um modelo que sempre prevê a classe majoritária ainda pode atingir uma pontuação alta de acurácia sem detectar as outras classes minoritárias.

Por exemplo, em um conjunto de dados de imagens no qual apenas algumas imagens contêm pedestres, um modelo que prevê “nenhum pedestre” para todas as imagens ainda pode alcançar uma acurácia alta, mas não detectará nenhum dos pedestres.

Isso acontece porque, por si só, a acurácia não mostra que tipos de erros um modelo comete nem com que frequência eles ocorrem. Por isso, também é importante analisar métricas como precisão e revocação para entender plenamente o desempenho de um modelo de IA.

Análise aprofundada da precisão: minimizando alarmes falsos#

A precisão é uma métrica de avaliação importante que mede a exatidão das previsões positivas de um modelo. Ela responde à pergunta: de todas as instâncias previstas como positivas, quantas estavam corretas?

A fórmula da precisão consiste em dividir o número de verdadeiros positivos pela soma dos verdadeiros positivos e falsos positivos. Ela é particularmente importante quando uma previsão positiva teria um custo elevado caso estivesse errada.

Fig. 3. Comparação entre acurácia e precisão. (Fonte)

Por exemplo, na detecção de fraudes, um modelo com baixa precisão pode sinalizar muitas transações válidas como fraudulentas, gerando problemas desnecessários tanto para os usuários quanto para as equipes de suporte. Um modelo com alta precisão reduz esse risco ao garantir que as transações sinalizadas tenham mais probabilidade de serem fraudes reais.

Embora uma precisão alta seja desejável, os modelos que se concentram demais nela podem se tornar muito seletivos e deixar passar casos positivos reais. Por isso, a métrica de precisão costuma ser analisada junto com a revocação para manter o equilíbrio do desempenho.

O que é revocação?#

A revocação é uma métrica usada para medir a capacidade de um modelo de identificar casos positivos reais. Também conhecida como sensibilidade ou taxa de verdadeiros positivos, ela responde à pergunta: de todas as instâncias positivas reais, quantas o modelo detectou corretamente?

A fórmula da revocação consiste em dividir o número de verdadeiros positivos pela soma dos verdadeiros positivos e falsos negativos. Uma pontuação alta de revocação indica que o modelo está identificando a maioria dos casos positivos reais nos dados.

A revocação é essencial em setores como a área da saúde, nos quais não detectar uma condição pode atrasar o tratamento e colocar os pacientes em risco. Mesmo que alguns casos negativos sejam sinalizados incorretamente, a prioridade é identificar todos os casos positivos reais.

No entanto, os modelos que se concentram apenas na revocação podem sinalizar demasiados falsos positivos, o que reduz a precisão e prejudica a eficiência geral do modelo. Equilibrar revocação e precisão é essencial para obter um desempenho confiável dos modelos de IA.

O equilíbrio entre precisão e revocação#

A precisão e a revocação costumam variar em direções opostas. Quando uma melhora, a outra pode piorar. Essa compensação é um desafio comum em tarefas de aprendizado de máquina.

Um modelo de alta precisão só prevê que algo é positivo quando tem certeza. Isso reduz os alarmes falsos, mas pode deixar passar positivos reais, o que diminui a revocação. Um modelo que tenta detectar todos os positivos aumenta a revocação, mas corre o risco de gerar mais alarmes falsos, reduzindo a precisão.

Essa compensação fica mais clara quando ajustas o limiar de decisão do modelo. O limiar é o valor de corte que um sistema usa para transformar uma pontuação ou probabilidade em uma ação ou rótulo. Reduzir o limiar faz com que o sistema classifique algo como positivo com mais frequência, o que pode aumentar a revocação, mas talvez reduza a precisão. Aumentar o limiar tem o efeito oposto: o modelo prevê menos positivos, a precisão melhora, mas a revocação costuma cair.

Imagina que estás a trabalhar na deteção de spam. O modelo precisa equilibrar o risco de deixar spam entrar na caixa de entrada com o risco de bloquear emails legítimos. Um filtro rigoroso pode bloquear mensagens legítimas por engano, enquanto um filtro mais permissivo pode deixar passar algum spam. O equilíbrio certo depende do caso de uso e do custo de cada tipo de erro.

A importância da curva de precisão e revocação#

A curva de precisão e revocação, ou curva PR, mostra como a precisão e a revocação mudam à medida que o limiar de decisão do modelo muda. Cada ponto representa uma compensação diferente entre as duas métricas. A curva PR é especialmente útil para conjuntos de dados desbalanceados, nos quais uma classe é muito menos frequente.

Em dados desbalanceados, ela costuma oferecer informações mais relevantes do que a curva de característica operacional do recetor (ROC), que também mostra a capacidade do modelo de separar positivos de negativos em diferentes limiares de decisão. Um modelo com precisão e revocação elevadas terá uma curva de precisão-revocação que permanece próxima do canto superior direito, o que geralmente é ideal.

Apresentando a pontuação F1: uma métrica combinada para medir o equilíbrio#

A pontuação F1 fornece um único valor que representa o equilíbrio entre precisão e revocação. Ela é calculada multiplicando a precisão pela revocação, multiplicando o resultado por dois e dividindo a expressão pela soma da precisão e da revocação. É útil quando tanto os falsos positivos quanto os falsos negativos são importantes, quando se trabalha com conjuntos de dados desbalanceados ou quando é necessária uma visão equilibrada do desempenho do modelo.

Fig. 4. Cálculo da pontuação F1 usando precisão e revocação (Fonte)

Além da acurácia, precisão e revocação#

Embora acurácia, precisão e revocação sejam essenciais, outras métricas oferecem informações adicionais com base no tipo de modelo e nas características do conjunto de dados.

Estas são algumas métricas comuns que ajudam a avaliar diferentes aspectos do desempenho:

• Especificidade: mede a capacidade do modelo de identificar negativos reais. É útil quando é importante evitar falsos positivos.
• AUC: AUC, ou área sob a curva, fornece uma única pontuação que indica a capacidade do modelo de distinguir entre classes.
• Perda logarítmica: a perda logarítmica é usada para medir o grau de confiança do modelo ao fazer previsões e penaliza mais as previsões erradas feitas com alta confiança. Aqui, confiança refere-se ao quanto o modelo tem certeza da própria previsão.
• Avaliação multirrótulo: em tarefas multirrótulo, as métricas são calculadas como média entre os rótulos para refletir o desempenho geral do modelo.

Aplicação de acurácia, precisão e revocação em visão computacional#

Agora que entendemos melhor a exatidão, a precisão e a revocação, vamos ver como essas métricas são aplicadas na visão computacional.

Modelos de visão computacional como Ultralytics YOLO11 oferecem suporte a tarefas como detecção de objetos, nas quais o modelo identifica quais objetos estão presentes em uma imagem e localiza cada um usando caixas delimitadoras. Cada previsão inclui tanto o rótulo do objeto quanto sua posição, o que torna a avaliação mais complexa do que simplesmente verificar se um rótulo está correto.

Fig. 5. Exemplo de uso do Ultralytics YOLO11 para detecção de objetos. (Fonte)

Considere uma aplicação no varejo em que câmeras são usadas para rastrear automaticamente produtos nas prateleiras. Um modelo de detecção de objetos pode identificar itens como caixas de cereais, latas de refrigerante ou garrafas de água e marcar suas posições.

Nesse caso, a precisão nos diz quantos dos itens detectados estão realmente corretos. Uma precisão alta significa que o sistema evita falsos positivos, como classificar uma sombra ou um objeto do fundo como produto. A revocação mostra quantos dos produtos reais na prateleira o modelo conseguiu detectar. Uma revocação alta significa que menos itens passam despercebidos, algo essencial para uma contagem precisa do estoque.

A acurácia ainda pode fornecer uma medida geral de correção, mas, nesse tipo de situação, deixar passar até mesmo alguns produtos ou detectar itens inexistentes pode ter um grande impacto na gestão do estoque. Por isso, os desenvolvedores analisam a precisão, a revocação e a acurácia em conjunto para garantir que o sistema seja confiável e prático para uso no mundo real.

Acurácia, precisão e revocação: principais conclusões#

A acurácia, a precisão e a revocação mostram aspectos diferentes do desempenho de um modelo de aprendizado de máquina. Confiar em apenas uma métrica pode levar a conclusões enganosas.

Ferramentas e métricas como a matriz de confusão, as curvas de precisão-revocação e a pontuação F1 ajudam a revelar os compromissos envolvidos e a orientar decisões sobre como melhorar o modelo de ML. Ao escolher a combinação certa de métricas para uma solução específica de IA, você pode garantir que os modelos sejam precisos, confiáveis e eficazes em aplicações do mundo real.

Conheça nossa crescente comunidade! Confira nosso repositório no GitHub para saber mais sobre IA. Quer começar seus projetos de visão computacional? Confira nossas opções de licenciamento. Descubra a IA na agricultura e a IA de visão em robótica visitando nossas páginas de soluções!