20 de agosto de 2025
Saiba mais sobre a Exatidão, a Precisão e a Recuperação na aprendizagem automática. Explore a Matriz de Confusão, a Pontuação F1 e como utilizar estas métricas de avaliação vitais.
A aprendizagem automática (AM) é um ramo da inteligência artificial (IA) que se centra na criação de sistemas que aprendem com os dados. Desempenha um papel central em muitos outros domínios da IA, incluindo a visão por computador, em que as máquinas interpretam imagens, e o processamento de linguagem natural, em que compreendem e geram linguagem humana.
Muitas vezes, esses modelos de IA utilizam técnicas de aprendizagem profunda para fazer previsões a partir de dados. Embora esses sistemas possam ser altamente eficazes, nem sempre produzem previsões corretas. Alguns resultados podem ser exactos, enquanto outros não atingem o objetivo.
Saber como esses erros ocorrem é uma parte fundamental da avaliação do desempenho de um modelo. Para medir o desempenho, podemos utilizar métricas de avaliação de modelos.
As métricas de avaliação comuns incluem a exatidão (correção geral), a precisão (fiabilidade das previsões positivas) e a recordação (a forma como o modelo identifica os positivos reais). Podem parecer semelhantes à primeira vista, mas cada uma delas centra-se numa parte diferente do comportamento de um modelo.
Neste artigo, analisaremos mais de perto cada uma dessas métricas de desempenho do modelo de IA. Também exploraremos como elas se relacionam entre si e como escolher a correta para o seu caso de uso. Vamos começar!
Um modelo de aprendizagem automática pode parecer que está a ter um bom desempenho à primeira vista. Mas sem as métricas de avaliação corretas, é difícil compreender a exatidão dos seus resultados. Estas métricas estruturam a avaliação do modelo e ajudam a responder a uma questão fundamental: As previsões do modelo são úteis e fiáveis para uma determinada tarefa?
As métricas como a exatidão, a precisão e a recordação proporcionam aos programadores de IA uma forma clara de medir o bom funcionamento de um modelo. Por exemplo, ao comparar diferentes modelos, estas métricas permitem ver qual deles tem o melhor desempenho para uma tarefa específica. Ajudam a avaliar o desempenho e orientam a escolha do modelo que melhor se adapta aos objectivos de um projeto de IA.
Estas métricas também tornam as comparações de desempenho mais objectivas. Em vez de se basearem em suposições ou observações incompletas, fornecem informações mensuráveis sobre a forma como um modelo se comporta em diferentes situações. Ao fazê-lo, destacam os aspectos do desempenho mais importantes em cada contexto.
Por exemplo, a escolha da métrica depende frequentemente da aplicação. Nas aplicações de IA para os cuidados de saúde, a recuperação é importante porque o objetivo é identificar o maior número possível de casos positivos, mesmo que alguns negativos sejam assinalados por engano. Em contrapartida, um filtro de spam de correio eletrónico pode dar prioridade à precisão para evitar a marcação incorrecta de correio eletrónico legítimo como spam.
A matriz de confusão é uma tabela de dois por dois que é fundamental para avaliar os modelos de IA. Organiza as previsões em quatro categorias, comparando os resultados reais com os resultados previstos (as respostas que o modelo dá).
Esta comparação fornece uma visão detalhada do desempenho do modelo. Constitui a base para as principais métricas de avaliação, como a precisão e a recuperação, que são calculadas diretamente a partir dos valores da matriz.
As linhas da tabela representam as classes reais e as colunas representam as classes previstas. Cada célula mostra a contagem de resultados nessa categoria. Em termos simples, mostra quantas previsões estavam corretas e os tipos de erros que o modelo cometeu.
A matriz de confusão é especialmente útil quando os dados são desequilibrados, o que significa que algumas categorias têm muito mais exemplos do que outras. Também é útil quando diferentes tipos de erros têm custos diferentes.
Por exemplo, na deteção de fraudes, a deteção de actividades fraudulentas é fundamental, mas a sinalização incorrecta de transacções reais também pode causar problemas. A matriz torna clara a frequência com que cada tipo de erro ocorre.
Eis uma visão geral dos diferentes elementos de uma matriz de confusão:
Uma matriz de confusão é apresentada num formato de grelha. O eixo vertical mostra as classes reais e o eixo horizontal mostra as classes previstas. As previsões corretas aparecem ao longo da diagonal, representando os verdadeiros positivos e os verdadeiros negativos.
Os erros situam-se fora da diagonal, abrangendo os falsos positivos e os falsos negativos. Esta estrutura facilita a identificação de pontos fortes e fracos.
A exatidão é uma das métricas mais utilizadas para avaliar o desempenho de um modelo de aprendizagem automática. Mede a frequência com que as previsões estão corretas em todas as classes. Por outras palavras, responde a uma pergunta simples: De todas as previsões feitas pelo modelo de IA, quantas estavam corretas?
A fórmula para a exatidão é o número de previsões corretas (que inclui tanto os verdadeiros positivos como os verdadeiros negativos) dividido pelo número total de previsões. A exatidão é simples de calcular e fácil de compreender, o que a torna um ponto de partida comum na avaliação de modelos.
Em geral, a precisão é fiável quando se trata de conjuntos de dados equilibrados. No entanto, a precisão pode muitas vezes ser enganadora em conjuntos de dados desequilibrados em que uma classe domina outras. Um modelo que preveja sempre a classe maioritária pode atingir uma pontuação de precisão elevada, mas não conseguir detetar outras classes minoritárias.
Por exemplo, num conjunto de dados de imagens em que apenas algumas imagens contêm peões, um modelo que preveja "nenhum peão" para todas as imagens pode ainda assim atingir uma precisão elevada, mas falhar completamente a deteção dos peões reais.
Isto porque a exatidão por si só não mostra que tipos de erros um modelo comete ou com que frequência acontecem. É por isso que é importante olhar também para métricas como a precisão e a recordação para compreender totalmente o funcionamento de um modelo de IA.
A precisão é uma métrica de avaliação fundamental que mede a exatidão das previsões positivas de um modelo. Responde à seguinte pergunta: De todas as instâncias previstas como positivas, quantas estavam corretas?
A fórmula da precisão é o número de verdadeiros positivos dividido pela soma dos verdadeiros positivos e dos falsos positivos. É particularmente importante quando uma previsão positiva teria um custo elevado se se revelasse incorrecta.
Por exemplo, na deteção de fraudes, um modelo com baixa precisão pode assinalar muitas transacções válidas como fraudulentas, criando problemas desnecessários tanto para os utilizadores como para as equipas de apoio. Um modelo com elevada precisão reduz este risco, garantindo que as transacções assinaladas têm mais probabilidades de serem realmente fraudulentas.
Embora uma precisão elevada seja boa, os modelos que se concentram demasiado nela podem tornar-se muito selectivos, deixando passar casos positivos reais. É por isso que a métrica de precisão é frequentemente verificada em conjunto com a de recuperação para manter o desempenho equilibrado.
A recuperação é uma métrica utilizada para medir a capacidade de um modelo identificar casos positivos efectivos. É conhecida como sensibilidade ou taxa positiva verdadeira e responde à pergunta: De todas as instâncias positivas reais, quantas foram detectadas corretamente pelo modelo?
A fórmula para a recuperação é o número de verdadeiros positivos dividido pela soma de verdadeiros positivos e falsos negativos. Uma pontuação de recuperação elevada mostra que o modelo está a captar a maioria dos casos positivos reais nos dados.
A recolha é essencial em sectores como o dos cuidados de saúde, onde a não deteção de uma doença pode atrasar o tratamento e colocar os doentes em risco. Mesmo que alguns casos negativos sejam incorretamente assinalados, a identificação de todos os casos verdadeiros continua a ser a principal prioridade.
No entanto, os modelos que se concentram apenas na recuperação podem assinalar demasiados falsos positivos, o que reduz a precisão e prejudica a eficiência global do modelo. O equilíbrio entre a recuperação e a precisão é crucial para um desempenho fiável do modelo de IA.
A precisão e a recordação movem-se frequentemente em direcções opostas. Quando uma melhora, a outra pode diminuir. Este compromisso é um desafio comum nas tarefas de aprendizagem automática.
Um modelo de alta precisão prevê algo como positivo apenas quando está confiante. Isto reduz os falsos alarmes, mas pode não detetar os verdadeiros positivos, o que diminui a recolha. Um modelo que tenta apanhar todos os positivos aumenta a recolha, mas arrisca mais falsos alarmes, o que reduz a precisão.
Este compromisso torna-se mais claro quando se ajusta o limiar de decisão do modelo. O limiar é o ponto de corte que um sistema utiliza para transformar uma pontuação ou probabilidade numa ação ou etiqueta. Diminuir o limiar faz com que o sistema actue positivamente com mais frequência, o que pode aumentar a recuperação, mas pode reduzir a precisão. Aumentar o limiar tem o efeito oposto: o modelo prevê menos acções positivas, a precisão melhora, mas a recuperação geralmente diminui.
Digamos que está a trabalhar na deteção de spam. O modelo tem de equilibrar o risco de deixar entrar spam na caixa de entrada com o risco de bloquear mensagens de correio eletrónico reais. Um filtro rigoroso pode ainda assim não detetar algum spam, enquanto um filtro mais brando pode bloquear acidentalmente mensagens legítimas. O equilíbrio correto depende do caso de utilização e do custo de cada tipo de erro.
A curva de precisão-recuperação ou curva PR mostra como a precisão e a recuperação mudam à medida que o limiar de decisão do modelo muda. Cada ponto representa um compromisso diferente entre os dois. A curva PR é especialmente útil para conjuntos de dados desequilibrados, em que uma classe é muito menos frequente.
Também fornece uma visão mais significativa do que a curva ROC (Receiver Operating Characteristic), que também mostra como um modelo separa os positivos dos negativos em diferentes limites de decisão. Um modelo com elevada precisão e elevada recuperação terá uma curva de precisão-recuperação que se mantém perto do canto superior direito, o que é geralmente ideal.
A pontuação F1 fornece um valor único que capta o equilíbrio entre a precisão e a recuperação. A pontuação F1 é calculada como duas vezes o produto da precisão e da recuperação, dividido pela soma da precisão e da recuperação. É útil quando tanto os falsos positivos como os falsos negativos são importantes, e é útil quando se trabalha com conjuntos de dados desequilibrados ou quando é necessária uma visão equilibrada do desempenho do modelo.
Embora a exatidão, a precisão e a recuperação sejam essenciais, outras métricas oferecem informações adicionais com base no tipo de modelo e nas caraterísticas do conjunto de dados.
Eis algumas métricas habitualmente utilizadas que ajudam a avaliar diferentes aspectos do desempenho:
Agora que temos uma compreensão mais clara da exatidão, precisão e recuperação, vamos ver como estas métricas são aplicadas na visão por computador.
Os modelos de visão por computador, como o Ultralytics YOLO11, suportam tarefas como a deteção de objectos, em que o modelo identifica os objectos presentes numa imagem e localiza-os utilizando caixas delimitadoras. Cada previsão inclui tanto a etiqueta do objeto como a sua posição, o que torna a avaliação mais complexa do que simplesmente verificar se uma etiqueta está correta.
Considere uma aplicação de retalho em que as câmaras são utilizadas para localizar automaticamente os produtos nas prateleiras. Um modelo de deteção de objectos pode identificar itens como caixas de cereais, latas de refrigerantes ou garrafas de água e marcar as suas posições.
Neste caso, a precisão indica-nos quantos dos itens detectados estão realmente corretos. Uma precisão elevada significa que o sistema evita falsos positivos, como rotular uma sombra ou um objeto de fundo como um produto. A recuperação mostra quantos dos produtos reais na prateleira o modelo conseguiu detetar. Uma elevada recuperação significa que menos itens são perdidos, o que é fundamental para contagens de inventário exactas.
A exatidão pode ainda fornecer uma medida geral de correção, mas neste tipo de cenário, a falta de alguns produtos ou a deteção de artigos que não existem pode ter um grande impacto na gestão de stocks. É por isso que os programadores analisam a precisão, a recuperação e a exatidão em conjunto para garantir que o sistema é fiável e prático para utilização no mundo real.
A exatidão, a precisão e a recuperação mostram aspectos diferentes do desempenho de um modelo de aprendizagem automática. Confiar em apenas uma métrica pode ser enganador.
Ferramentas e métricas como a matriz de confusão, as curvas de precisão-recuperação e a pontuação F1 ajudam a revelar soluções de compromisso e orientam as decisões sobre a introdução de melhorias no modelo de ML. Ao escolher a combinação certa de métricas para uma solução de IA específica, pode garantir que os modelos são precisos, fiáveis e eficazes em aplicações do mundo real.
Explore a nossa comunidade em crescimento! Consulte o nosso repositório GitHub para saber mais sobre IA. Pronto para iniciar os seus projectos de visão computacional? Veja as nossas opções de licenciamento. Descubra a IA na agricultura e a IA de visão na robótica visitando as nossas páginas de soluções!
