Área Sob a Curva (AUC)

A Área Sob a Curva (AUC) é uma métrica fundamental utilizada para quantificar o desempenho dos modelos de classificação, particularmente no domínio da aprendizagem automática (ML). Mede a capacidade mede a capacidade de um modelo para distinguir entre classes, como, por exemplo, separar instâncias positivas de negativas. Ao contrário das métricas que dependem de um único limiar de decisão, a AUC fornece uma visão abrangente do desempenho em todos os limiares possíveis. Este facto torna-a uma ferramenta essencial para a avaliação de algoritmos de aprendizagem supervisionada, garantindo que as capacidades de previsão do modelo são robustas e não influenciadas por um ponto de corte específico. Um valor AUC mais elevado indica geralmente indica um modelo com melhor desempenho, sendo que uma pontuação de 1,0 representa uma classificação perfeita.

A relação entre a AUC e o ROC

O termo AUC refere-se especificamente à área sob a curva curva ROC (Receiver Operating Characteristic). A curva ROC é um gráfico que ilustra a capacidade de diagnóstico de um sistema de classificação binário. Representa a taxa de verdadeiros positivos (TPR), também conhecida como Recall, em relação a taxa de falsos positivos (FPR) em várias definições de limiar.

• Taxa de verdadeiros positivos: A proporção de casos positivos reais efetivamente identificados pelo modelo.
• Taxa de falsos positivos: A proporção de casos negativos reais que são incorretamente identificados como positivos.

Ao calcular a AUC, os cientistas de dados condensam a informação contida na curva ROC num único número. Isto simplifica a avaliação do modelo, permitindo comparação mais fácil entre diferentes arquitecturas, como a comparação de uma ResNet-50 contra uma alternativa mais leve.

Interpretação da pontuação

A pontuação AUC varia de 0 a 1, fornecendo uma interpretação probabilística da qualidade de classificação do modelo.

• AUC = 1.0: Um classificador perfeito. Consegue distinguir corretamente as classes positivas e negativas 100% do vezes.
• 0.5 < AUC < 1.0: The model has a better-than-random chance of classifying instances correctly. This is the target range for most predictive modeling tasks.
• AUC = 0,5: O modelo não tem capacidade discriminativa, equivalente a uma adivinhação aleatória (como atirar uma moeda).
• AUC < 0.5: This suggests the model is performing worse than random chance, often indicating that the predictions are inverted or there is a significant issue with the training data.

Para um mergulho mais profundo na mecânica de classificação, recursos como o Curso rápido de aprendizado de máquinaGoogle oferecem excelentes explicações visuais.

Aplicações no Mundo Real

A AUC é particularmente valiosa em cenários em que as consequências de falsos positivos e falsos negativos variam significativamente.

1. Diagnóstico médico: Na IA nos cuidados de saúde, os modelos são frequentemente treinados para detect anomalias como tumores em radiografias ou exames de ressonância magnética. Uma pontuação AUC elevada garante que o modelo classifica de forma fiável os casos malignos mais elevados do que os benignos. Esta fiabilidade é fundamental para os sistemas de apoio à decisão clínica utilizados pelos radiologistas. Por exemplo, ver como o YOLO11 ajuda na deteção de tumores realça a importância de métricas de avaliação robustas em aplicações críticas para a vida.
2. Deteção de fraudes financeiras: As instituições financeiras utilizam visão por computador (CV) e reconhecimento de padrões para assinalar transacções fraudulentas. Uma vez que as transacções legítimas superam largamente as fraudulentas, os dados são altamente desequilibrados. A AUC é preferida neste caso porque avalia a classificação das probabilidades de fraude sem ser distorcida pelo pelo grande número de negativos legítimos, ao contrário da precisão. Isto ajuda a criar sistemas que minimizam o atrito do cliente enquanto mantém a segurança, um componente central da IA em finanças.

AUC vs. outras métricas

Compreender quando utilizar a AUC em comparação com outras métricas é fundamental para uma implantação do modelo.

• AUC vs. Precisão: A exatidão mede a percentagem de previsões corretas. No entanto, em conjuntos de dados desequilibrados (por exemplo, 99% de classe negativa), um modelo pode atingir 99% de exatidão ao prever "negativo" para tudo, apesar de ter um poder de previsão nulo. A AUC é invariante ao desequilíbrio de classes, tornando-a uma métrica mais honesta para estes problemas.
• AUC vs. Precisão-Recuperação: Enquanto o ROC AUC considera tanto o TPR como o FPR, Precisão e Recall centram-se especificamente na classe positiva. Nos casos casos em que os falsos positivos são aceitáveis mas os falsos negativos não (por exemplo, rastreio inicial de doenças), a análise da Precisão-Recall pode ser mais informativa do que a AUC do ROC.
• AUC vs. mAP: Para tarefas de deteção de objectos realizadas por modelos como YOLO11a métrica padrão é precisão média (mAP). mAP calcula essencialmente a área sob a curva Precisão-Recall para caixas delimitadoras em limiares específicos de Intersecção sobre União (IoU). UniãoIoU), enquanto a AUC é normalmente utilizada para a confiança na classificação dos objectos.

Cálculo das probabilidades de classe

Para calcular a AUC, são necessárias as pontuações de probabilidade da classe positiva em vez de apenas as etiquetas da classe final. O exemplo exemplo a seguir demonstra como obter essas probabilidades usando um classificação de imagens modelo do ultralytics biblioteca.

from ultralytics import YOLO

# Load a pre-trained YOLO11 classification model
model = YOLO("yolo11n-cls.pt")

# Run inference on an image
results = model("path/to/image.jpg")

# Access the probability scores for all classes
# These scores are the inputs needed to calculate AUC against ground truth
probs = results[0].probs.data
print(f"Class Probabilities: {probs}")

Quando tiver as probabilidades de um conjunto de dados, pode utilizar bibliotecas padrão como Scikit-learn para calcular a pontuação AUC final.