Área sob a curva (AUC)

A Área sob a Curva (AUC) é uma métrica de desempenho amplamente utilizada na aprendizagem automática (ML) para avaliar a eficácia dos modelos de classificação binária. Representa a probabilidade de um modelo classificar uma instância positiva escolhida aleatoriamente como superior a uma instância negativa escolhida aleatoriamente. Essencialmente, a AUC resume a capacidade de um modelo para distinguir entre classes em todos os limites de classificação possíveis, fornecendo uma medida única e agregada de desempenho. Um valor AUC mais elevado indica um modelo com melhor desempenho, o que o torna uma ferramenta crucial para comparar diferentes modelos e para a afinação de hiperparâmetros.

O que é a Curva Roc?

A AUC está intrinsecamente ligada à curva ROC (Receiver Operating Characteristic). A curva ROC é um gráfico que representa a Taxa de Verdadeiros Positivos (TPR), também conhecida como Recuperação, em relação à Taxa de Falsos Positivos (FPR) em várias definições de limiar. A AUC é simplesmente a área sob esta curva ROC. Enquanto a curva ROC fornece uma representação visual das compensações de um modelo entre sensibilidade e especificidade, a pontuação AUC quantifica esta compensação num único número, simplificando a comparação de modelos.

Interpretação da pontuação Auc

O valor da AUC varia entre 0 e 1, em que uma pontuação mais elevada indica um modelo melhor.

• AUC = 1: Representa um modelo perfeito que classifica corretamente todas as instâncias positivas e negativas. Cada amostra positiva tem uma probabilidade prevista mais elevada do que cada amostra negativa.
• AUC = 0,5: indica que o modelo não tem capacidade de discriminação, o que equivale a uma adivinhação aleatória. A curva ROC para um modelo deste tipo seria uma linha diagonal reta.
• AUC < 0.5: A score below 0.5 suggests the model is performing worse than random chance. In practice, this often points to an issue with the model or data, such as inverted predictions.
• 0.5 < AUC < 1: This range signifies that the model has some ability to discriminate. The closer the value is to 1, the better the model's performance.

Ferramentas como o Scikit-learn fornecem funções para calcular facilmente as pontuações AUC, que podem ser visualizadas utilizando plataformas como o TensorBoard.

Aplicações no mundo real

A AUC é uma métrica valiosa em muitos domínios em que a classificação binária é fundamental.

1. Análise de imagens médicas: Na IA nos cuidados de saúde, são desenvolvidos modelos para tarefas como a deteção de tumores a partir de exames médicos. É utilizada uma pontuação AUC para avaliar a capacidade de um modelo distinguir entre casos malignos (positivos) e benignos (negativos). Uma AUC elevada é vital para a criação de ferramentas de diagnóstico fiáveis que possam ajudar os radiologistas, garantindo uma sensibilidade elevada sem um número excessivo de falsos alarmes. Isto é crucial para modelos que analisam conjuntos de dados como o conjunto de dados de tumores cerebrais.
2. Deteção de fraudes: No sector financeiro, os modelos de IA são utilizados para identificar transacções fraudulentas. Os conjuntos de dados neste domínio são normalmente muito desequilibrados, com muito mais transacções legítimas do que fraudulentas. A AUC é particularmente útil neste caso porque fornece uma medida de desempenho robusta que não é distorcida pela classe maioritária, ao contrário da precisão. Ajuda as instituições financeiras a criar sistemas que detectam eficazmente a fraude, minimizando os falsos positivos que podem incomodar os clientes. As principais instituições financeiras confiam em tais métricas para a avaliação de riscos.

Auc Vs. Outras métricas

Embora a AUC seja uma métrica valiosa, é importante compreender a sua diferença em relação a outras medidas de avaliação utilizadas na visão computacional (CV) e no ML:

• AUC vs. Precisão: A precisão mede a correção geral das previsões, mas pode ser enganadora em conjuntos de dados desequilibrados. A AUC fornece uma medida de separabilidade independente do limiar, tornando-a mais fiável nesses casos.
• AUC vs. Precisão-Recall: Para conjuntos de dados desequilibrados em que a classe positiva é rara e de interesse primário (por exemplo, deteção de doenças raras), a curva Precisão-Recall e a sua área correspondente (AUC-PR) podem ser mais informativas do que a AUC ROC. Métricas como a Precisão e a Recuperação centram-se especificamente no desempenho relativo à classe positiva. A pontuação F1 também equilibra a precisão e a recuperação.
• AUC vs. mAP/IoU: A AUC é utilizada principalmente para tarefas de classificação binária. Para tarefas de deteção de objectos comuns a modelos como o Ultralytics YOLO, métricas como a precisão média (mAP) e a intersecção sobre a união (IoU) são o padrão. Essas métricas avaliam tanto a precisão da classificação quanto a precisão da localização de objetos detectados usando caixas delimitadoras. Pode saber mais sobre as métricas de desempenho do YOLO aqui.

A escolha da métrica correta depende do problema específico, das caraterísticas do conjunto de dados (como o equilíbrio das classes) e dos objectivos do projeto de IA. A AUC continua sendo uma pedra angular para avaliar o desempenho da classificação binária devido à sua robustez e interpretabilidade. O acompanhamento de experiências com ferramentas como o Ultralytics HUB pode ajudar a gerir e comparar estas métricas de forma eficaz.