Receiver Operating Characteristic (ROC) Curve

A curva Característica de Operação (ROC) é uma ferramenta gráfica fundamental utilizada para avaliar o desempenho de modelos de classificação binária. No âmbito da aprendizagem automática (ML), ela visualiza o compromisso entre a sensibilidade e a especificidade de um modelo em todos os limiares de decisão possíveis. Ao contrário de métricas de valor único, como a exatidão, que podem ser enganadoras quando um conjunto de dados está desequilibrado, a curva ROC fornece uma visão abrangente de como um classificador se comporta à medida que os critérios para identificar instâncias positivas se tornam mais ou menos rigorosos. Esta visualização é essencial para engenheiros que utilizam técnicas de aprendizagem supervisionada para determinar o ponto de operação ideal para o seu caso de utilização específico.

Interpretação dos eixos e compromissos#

Para compreender uma curva ROC, é necessário observar os dois parâmetros representados um contra o outro: a Taxa de Verdadeiros Positivos (TPR) e a Taxa de Falsos Positivos (FPR).

• Taxa de Verdadeiros Positivos (TPR): Frequentemente denominada Revocação ou sensibilidade, esta métrica no eixo y mede a proporção de observações positivas reais que o modelo identificou corretamente. Uma TPR elevada significa que o sistema raramente não deteta um alvo.
• Taxa de Falsos Positivos (FPR): Representada no eixo x, indica a proporção de instâncias negativas que são incorretamente classificadas como positivas, também conhecida como um "falso alarme".

A curva ilustra uma relação dinâmica: à medida que reduz o limiar de confiança para capturar mais casos positivos (aumentando a TPR), aumenta inevitavelmente o risco de sinalizar incorretamente casos negativos (aumentando a FPR). Um classificador perfeito atingiria o canto superior esquerdo do gráfico, indicando 100% de sensibilidade e 0% de falsos alarmes. Um modelo que fizesse previsões aleatórias apareceria como uma linha diagonal do canto inferior esquerdo ao canto superior direito. O desempenho geral é frequentemente resumido pela Área sob a curva (AUC), em que um valor de 1,0 representa a perfeição.

Aplicações no mundo real#

A decisão sobre onde definir o limiar numa curva ROC depende inteiramente do custo dos erros numa aplicação específica do setor.

1. Diagnóstico médico: Na IA na área da saúde, especificamente em tarefas como a deteção de tumores na análise de imagens médicas, o custo de não detetar um caso positivo (um falso negativo) pode representar um risco de vida. Por isso, os profissionais escolhem frequentemente um limiar que maximize a TPR, mesmo que isso resulte numa FPR mais elevada, o que significa que mais pacientes saudáveis podem ser inicialmente sinalizados para testes adicionais.

2. Deteção de fraude financeira: Quando a IA nas finanças é utilizada para monitorizar transações com cartões de crédito, os bancos têm de equilibrar a segurança com a experiência do cliente. Se o sistema for demasiado sensível (TPR elevada), poderá bloquear cartões legítimos (FPR elevada), frustrando os utilizadores. Os analistas utilizam a curva ROC para encontrar um limiar equilibrado que detete a maioria das fraudes, mantendo os falsos positivos num mínimo aceitável.

Geração de probabilidades para a análise ROC#

Para traçar uma curva ROC, precisa das probabilidades brutas das previsões, e não apenas dos rótulos finais das classes. O exemplo seguinte utiliza o modelo YOLO26 de última geração para gerar pontuações de classificação.

from ultralytics import YOLO

# Load a pretrained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Run inference to get probability distribution
results = model("bus.jpg")

# Access the probability score for the predicted class
# These continuous scores are required to calculate TPR/FPR at different thresholds
print(f"Top Class Index: {results[0].probs.top1}")
print(f"Confidence Score: {results[0].probs.top1conf:.4f}")

Depois de recolher estas probabilidades para um conjunto de validação, os programadores podem utilizar bibliotecas como o Scikit-learn para calcular os pontos da curva. Para gerir conjuntos de dados e acompanhar estas métricas ao longo do tempo, a Ultralytics Platform oferece ferramentas integradas para avaliação e implementação de modelos.

ROC vs. conceitos relacionados#

É importante distinguir a curva ROC de outras ferramentas de avaliação:

• vs. Curva de Precisão-Revocação (PR): Enquanto a ROC representa a TPR em relação à FPR, a curva de Precisão-Revocação representa a Precisão em relação à Revocação. A curva PR é geralmente preferível quando o conjunto de dados está fortemente desequilibrado (por exemplo, na deteção de anomalias raras), uma vez que a curva ROC pode, por vezes, apresentar uma visão demasiado otimista nestes cenários.
• vs. Matriz de confusão: Uma matriz de confusão fornece uma visão instantânea do desempenho num único limiar específico. Em contrapartida, a curva ROC visualiza o desempenho em todos os limiares possíveis, tornando-se uma ferramenta mais abrangente para a análise de modelação preditiva antes de estabelecer uma regra de decisão final.