Confusion Matrix

Uma matriz de confusão é uma ferramenta de medição de desempenho para problemas de classificação em machine learning em que a saída pode ter duas ou mais classes. É uma tabela com quatro combinações diferentes de valores previstos e reais, servindo como elemento fundamental para a visualização de dados na avaliação de modelos. Ao contrário da exatidão simples, que pode ser enganadora quando o conjunto de dados está desequilibrado, uma matriz de confusão fornece uma análise detalhada dos erros cometidos por um modelo de visão computacional (CV). Ao comparar as previsões com os rótulos de ground truth, os programadores podem determinar se o sistema está a confundir duas classes específicas ou se não consegue detetar um objeto de todo.

Componentes principais da matriz#

A própria matriz é normalmente dividida em quatro quadrantes para a classificação binária, embora se expanda para problemas multiclasses, como os tratados pelo Ultralytics YOLO26. Estes quatro componentes representam a interseção entre o que o modelo previu e o que realmente existe na imagem.

• Verdadeiros positivos (TP): O modelo prevê corretamente a classe positiva. Por exemplo, numa tarefa de deteção de objetos, o modelo desenha com sucesso uma caixa delimitadora à volta de uma pessoa que está realmente na imagem.
• Verdadeiros negativos (TN): O modelo prevê corretamente a classe negativa. Isto é crucial em cenários como a deteção de anomalias, em que o sistema identifica corretamente que uma peça fabricada não tem defeitos.
• Falsos positivos (FP): O modelo prevê incorretamente a classe positiva. Muitas vezes chamado de "erro do Tipo I", isto ocorre quando o sistema deteta um objeto que não está presente, como uma câmara de segurança que assinala uma sombra como um intruso.
• Falsos negativos (FN): O modelo prevê incorretamente a classe negativa. Conhecido como "erro do Tipo II", isto acontece quando o modelo não consegue detetar um objeto presente, essencialmente "falhando" o alvo.

Métricas derivadas e importância#

Os valores brutos de uma matriz de confusão são utilizados para calcular métricas mais avançadas que descrevem o desempenho do modelo. Compreender estas métricas derivadas é essencial para otimizar redes neuronais.

• Precisão: Calculada como TP / (TP + FP), esta métrica revela o grau de exatidão das previsões positivas. Uma precisão elevada significa menos falsos alarmes.
• Revocação (Sensibilidade): Calculada como TP / (TP + FN), esta métrica mede a capacidade do modelo de encontrar todas as instâncias positivas. Uma revocação elevada é vital quando não detetar um objeto tem consequências graves.
• Pontuação F1: A média harmónica da precisão e da revocação. Fornece uma única pontuação que equilibra o compromisso entre as duas, sendo útil para comparar diferentes modelos YOLO26.

Aplicações no mundo real#

O custo específico dos erros definido pela matriz de confusão determina como os modelos são ajustados para diferentes setores.

No domínio da IA na saúde, a matriz de confusão é uma questão de segurança. Ao treinar um modelo de análise de imagens médicas para detetar tumores, um falso negativo (não detetar um tumor) é muito pior do que um falso positivo (assinalar uma mancha benigna para avaliação médica). Por isso, os engenheiros dão prioridade à revocação em detrimento da precisão nestas matrizes, para garantir que nenhum potencial risco para a saúde é ignorado.

Por outro lado, no âmbito do controlo de qualidade na produção, a eficiência é fundamental. Se um sistema que classifica peças de uma linha de montagem gerar demasiados falsos positivos (assinalando peças boas como defeituosas), isso provoca desperdício desnecessário e abranda a produção. Aqui, a matriz de confusão ajuda os engenheiros a ajustar o modelo para maximizar a precisão, garantindo que aquilo que é rejeitado é realmente defeituoso e otimizando os fluxos de trabalho de machine learning automatizado.

Gerar uma matriz de confusão com o Ultralytics YOLO26#

Ao utilizar frameworks modernos, gerar esta matriz faz frequentemente parte do pipeline de validação padrão. O exemplo abaixo demonstra como validar um modelo YOLO26 e aceder aos dados da matriz de confusão utilizando o pacote ultralytics.

from ultralytics import YOLO

# Load a pre-trained YOLO26 model
model = YOLO("yolo26n.pt")

# Validate the model on the COCO8 dataset
# This automatically generates and plots the confusion matrix
metrics = model.val(data="coco8.yaml")

# Access the confusion matrix object directly
print(metrics.confusion_matrix.matrix)

Diferenciação de conceitos relacionados#

É importante distinguir a matriz de confusão de termos de avaliação semelhantes.

• Comparação com a exatidão: A exatidão é simplesmente a proporção entre as previsões corretas e o total de previsões. Embora seja útil, a exatidão pode ser muito enganadora em conjuntos de dados desequilibrados. Por exemplo, se 95% dos e-mails não forem spam, um modelo que preveja "não é spam" para todos os e-mails terá 95% de exatidão, mas será inútil. A matriz de confusão revela esta falha ao mostrar zero verdadeiros positivos para a classe de spam.
• Comparação com a curva ROC: A matriz de confusão fornece um instantâneo do desempenho num único limiar de confiança específico. Em contrapartida, a curva de característica de operação do recetor (ROC) visualiza como a taxa de verdadeiros positivos e a taxa de falsos positivos variam à medida que esse limiar é alterado. Ferramentas como a Ultralytics Platform permitem aos utilizadores explorar ambas as visualizações para escolher o ponto de operação ideal para a sua implementação.